La simulación de auto-ejecución mejora los modelos de generación de código | Enseñar a los LLM a predecir el resultado de su código para reducir errores internos | Técnica para fortalecer el razonamiento algorítmico en modelos de programación

Abstract

PROBLEMA: Los modelos de código a menudo generan sintaxis correcta pero lógica errónea porque no pueden 'visualizar' el estado de ejecución de las variables a través del tiempo. SOLUCIÓN: Este trabajo propone que los modelos simulen internamente la ejecución paso a paso (trace) del código antes de finalizar la respuesta, integrando este 'feedback simulado' en el entrenamiento. METODOLOGÍA: Entrenan modelos sobre un dataset de trazas de ejecución, forzando al modelo a predecir el output de cada línea de código durante el proceso de generación. RESULTADOS: Se observa una mejora del 15% en problemas de nivel difícil en HumanEval y MBPP, reduciendo errores clásicos de 'off-by-one' y punteros. RELEVANCIA: Transforma a los LLMs de meros sintetizadores de texto a sistemas con un modelo mental del flujo computacional.