Long-Horizon-Terminal-Bench: Evaluación del límite de agentes en tareas de largo alcance | Cómo medir la eficacia de agentes IA en procesos complejos con recompensas densas | Benchmark para la evaluación granular de agentes en flujos de trabajo extensos

Abstract

PROBLEMA: Los benchmarks actuales para agentes IA a menudo se limitan a tareas de corto alcance o utilizan métricas de éxito binarias (éxito/fallo) que no capturan el progreso parcial ni las razones del colapso en flujos de trabajo extensos. SOLUCIÓN: El paper presenta Long-Horizon-Terminal-Bench, un nuevo estándar diseñado para poner a prueba los límites de los agentes en tareas complejas que requieren múltiples pasos interdependientes. La innovación principal es el uso de un sistema de calificación basado en recompensas densas (Dense Reward-Based Grading), que permite una evaluación mucho más granular del comportamiento del agente. METODOLOGÍA: Los autores diseñaron un entorno con diversas tareas de ingeniería de software, manejo de archivos y razonamiento lógico, aplicando una métrica que descompone el objetivo final en hitos medibles. RESULTADOS: Las pruebas revelan que incluso los modelos más avanzados (SOTA) sufren una degradación significativa del rendimiento a medida que aumenta el horizonte de la tarea, destacando la fragilidad de las arquitecturas actuales basadas en LLM para la autonomía a largo plazo. RELEVANCIA: Es fundamental para el desarrollo de agentes autónomos confiables que operen en entornos de producción reales donde la ejecución robusta es prioritaria sobre la generación simple de texto.