OccuBench: Evaluación de agentes de IA en tareas profesionales mediante modelos de mundo | Benchmark de tareas laborales para agentes inteligentes | Medición de eficacia de IA en entornos profesionales simulados

Abstract

PROBLEMA: Los benchmarks actuales para agentes de IA suelen enfocarse en tareas sintéticas o muy acotadas, fallando en capturar la complejidad de los flujos de trabajo profesionales donde la interacción con herramientas y la comprensión del contexto empresarial son clave. SOLUCIÓN: Se introduce OccuBench, un benchmark que utiliza 'Language World Models' para simular entornos profesionales reales y evaluar la capacidad de los agentes para completar tareas de alto nivel. METODOLOGÍA: El sistema utiliza un modelo de mundo basado en texto que reacciona de manera realista a las acciones del agente, permitiendo evaluar la planificación y ejecución en oficios técnicos y administrativos. RESULTADOS: Los resultados revelan una brecha significativa entre los LLMs actuales cuando se enfrentan a escenarios de resolución de problemas en cascada frente a tareas de un solo paso. RELEVANCIA: Proporciona una metodología para desarrollar agentes que realmente puedan asistir en entornos de producción profesional y empresarial.