Enseñando lenguajes de bajos recursos a LLMs: Caso Pharo | Cómo adaptar modelos de lenguaje a lenguajes de programación de nicho | Mejora del autocompletado de código mediante fine-tuning especializado

Abstract

PROBLEMA: Los LLMs actuales son excelentes en lenguajes populares como Python, pero su rendimiento cae drásticamente en lenguajes de programación de "bajos recursos" o menos comunes como Pharo. SOLUCIÓN: El estudio propone una metodología sistemática para enseñar nuevos lenguajes a LLMs mediante el uso de datos sintéticos y técnicas de ajuste fino (fine-tuning) especializadas. METODOLOGÍA: Se construyó un corpus específico para Pharo y se aplicaron técnicas de optimización de contexto y reentrenamiento ligero para capturar la sintaxis única y los paradigmas del lenguaje. RESULTADOS: Se logró una mejora significativa en las métricas de completado de código (code completion) y generación de métodos, superando a los modelos base en tareas de programación específica. RELEVANCIA: Este enfoque es vital para la democratización de la IA en el desarrollo de software, permitiendo que sistemas de asistencia lleguen a nichos técnicos y lenguajes especializados.