Reporte sobre la preparación de modelos de mundo basados en código | Evaluación de la capacidad de los LLMs para simular y razonar sobre software | Cómo miden los sistemas de IA las consecuencias de las modificaciones de código

Abstract

PROBLEMA: No existe un marco estandarizado para evaluar la capacidad de los LLMs para actuar como 'modelos de mundo' en el dominio del código, es decir, predecir cómo cambiará un sistema de software tras una acción. SOLUCIÓN: Este reporte presenta una evaluación exhaustiva sobre la preparación de los Code World Models (CWM), definiendo métricas de fidelidad, consistencia y razonamiento causal. METODOLOGÍA: Se evaluaron diversos LLMs (GPT-4, Claude 3, CodeLlama) en su capacidad para simular la ejecución de código sin intérprete y planificar cambios en grandes repositorios. RESULTADOS: Se observa que aunque los modelos son excelentes escribiendo código, fallan frecuentemente al predecir efectos secundarios en sistemas acoplados, definiendo un nuevo 'gap' de investigación. RELEVANCIA: Los modelos de mundo de código son la base para futuros agentes de ingeniería de software autónomos que puedan razonar sobre las consecuencias de sus commits antes de ejecutarlos.