TEMPO: Escalado de entrenamiento en tiempo de prueba para modelos de razonamiento | Cómo mejorar el razonamiento de LLMs durante la inferencia | Optimización dinámica de parámetros para resolución de problemas complejos en IA

Abstract

PROBLEMA: Aunque los Modelos de Lenguaje Grande (LLMs) han mejorado en tareas de razonamiento, existe una falta de marcos sistemáticos para escalar de manera eficiente el entrenamiento y la búsqueda durante el tiempo de prueba (test-time) para maximizar el rendimiento sin comprometer la latencia. SOLUCIÓN: El paper presenta TEMPO, un marco diseñado para escalar el entrenamiento en tiempo de prueba específicamente para grandes modelos de razonamiento. Propone un mecanismo de optimización dinámica que ajusta los parámetros del modelo basándose en la dificultad de la consulta recibida. METODOLOGÍA: Utilizan técnicas de búsqueda en árbol (search-based) combinadas con actualizaciones de gradiente ligeras durante la inferencia, evaluando el sistema en benchmarks de matemáticas y código. RESULTADOS: TEMPO logra mejoras significativas en la precisión de problemas complejos superando a métodos de escalado tradicionales por un margen considerable con el mismo presupuesto computacional. RELEVANCIA: Esta investigación es crucial para el desarrollo de agentes autónomos que necesiten resolver problemas lógicos difíciles en tiempo real mediante el uso inteligente del cómputo.