Scaling the Horizon: 35B Agent Performance vs 1T Models | Optimizando el rendimiento de agentes mediante profundidad de razonamiento | Cómo igualar modelos de un trillón de parámetros con modelos pequeños optimizados para agentes

Abstract

PROBLEMA: Tradicionalmente, la mejora en el rendimiento de los agentes de IA se ha buscado mediante el escalado masivo de parámetros (modelos de 1 Trillion+), lo cual es costoso e ineficiente para aplicaciones en tiempo real o dispositivos limitados. SOLUCIÓN: El paper propone 'Scaling the Horizon', un paradigma que favorece la profundidad del razonamiento y la búsqueda iterativa en el espacio de soluciones por encima del tamaño del modelo brute-force. METODOLOGÍA: Utilizan un modelo base de 35B parámetros y lo equipan con mecanismos de 'horizonte extendido' mediante búsqueda en árbol (MCTS) y refinamiento de pasos múltiples sobre un conjunto de benchmarks de razonamiento complejo. RESULTADOS: El modelo de 35B logra superar o igualar el rendimiento de modelos de 1 Trillion de parámetros en tareas de planificación y resolución de problemas técnicos, demostrando que la eficiencia algorítmica compensa la falta de densidad de parámetros. RELEVANCIA: Este trabajo es fundamental para democratizar agentes de alto rendimiento, permitiendo capacidades de nivel 'SOTA' en hardware sustancialmente más modesto.