UniClawBench: Benchmark Universal para Agentes Proactivos en Tareas Reales | Evaluación de la autonomía y proactividad en agentes de IA | Cómo medir la capacidad de ejecución autónoma de agentes en sistemas operativos

Abstract

PROBLEMA: Los benchmarks actuales para agentes se centran en tareas reactivas o entornos cerrados, lo que no refleja la capacidad de un agente para anticipar necesidades y actuar proactivamente en entornos complejos de software y web. SOLUCIÓN: El paper presenta UniClawBench, un benchmark universal diseñado para evaluar agentes proactivos en tareas del mundo real que requieren navegación por sistemas operativos, uso de navegadores y herramientas de productividad. METODOLOGÍA: Se definen métricas de proactividad, precisión en el uso de herramientas y eficiencia en la resolución de objetivos ambiguos. Se probaron varios modelos de lenguaje de vanguardia actuando como agentes. RESULTADOS: Los resultados muestran que incluso los modelos más avanzados fallan en mantener la proactividad constante ante cambios dinámicos del entorno, identificando una brecha crítica en el razonamiento de largo plazo. RELEVANCIA: Es fundamental para el desarrollo de sistemas agénticos que no solo respondan a comandos, sino que gestionen flujos de trabajo autónomos de manera fiable.