El Horizonte de Verificación en Agentes de Programación | Limitaciones de los sistemas de recompensa para la generación de código con IA | Por qué la verificación automática de código en LLMs tiene un techo de rendimiento

Abstract

PROBLEMA: Los agentes de codificación actuales enfrentan el 'horizonte de verificación', donde las señales de recompensa se vuelven extremadamente ruidosas o escasas a medida que aumenta la complejidad del software, impidiendo la mejora continua. SOLUCIÓN: El estudio analiza sistemáticamente por qué no existe una 'bala de plata' (silver bullet) para las recompensas en agentes de código y clasifica las fallas de verificación en categorías estructurales y lógicas. METODOLOGÍA: Evaluaron múltiples modelos de recompensa basados en unit tests, ejecución simbólica y LLMs como jueces sobre benchmarks de programación a gran escala. RESULTADOS: Identifican un techo crítico donde la verificación automática es incapaz de distinguir entre soluciones correctas e incorrectas en problemas de alta jerarquía. RELEVANCIA: Vital para entender las limitaciones actuales de la ingeniería de software automatizada y el diseño de futuros sistemas de entrenamiento RL para programadores IA.