Code2LoRA: Hiperredes para la generación de adaptadores en modelos de código | Cómo adaptar LLMs a la evolución constante del software | Generación dinámica de pesos LoRA para ingeniería de software automatizada

Abstract

PROBLEMA: Los modelos de lenguaje para código (CodeLMs) quedan obsoletos rápidamente debido a la evolución constante del software, nuevas APIs y cambios en las dependencias, haciendo que el reentrenamiento estándar sea costoso y poco práctico. SOLUCIÓN: El paper presenta Code2LoRA, un marco de trabajo que utiliza hiperredes para generar dinámicamente adaptadores LoRA (Low-Rank Adaptation) condicionados por el contexto del cambio de software. METODOLOGÍA: Los autores entrenan una hiperred que toma como entrada representaciones de cambios en el código o nuevas versiones de bibliotecas y produce los pesos para módulos LoRA específicos, permitiendo una adaptación "on-the-fly" sin fine-tuning exhaustivo. RESULTADOS: Code2LoRA demuestra una precisión significativamente mayor en tareas de generación de código sobre bibliotecas recién actualizadas en comparación con modelos estáticos y métodos de recuperación (RAG) tradicionales. RELEVANCIA: Es fundamental para sistemas de desarrollo de software autónomos que operan en entornos de producción dinámicos y requieren actualización continua.