Adaptación normalizada de bajo rango: estabilizando la convergencia de LoRA en fine-tuning de LLMs | Método PEFT que aplica normalización a los adaptadores de bajo rango para reducir la sensibilidad a hiperparámetros | Técnica para adaptar modelos grandes con menos parámetros entrenables y entrenamientos más estables en producción

Abstract

PROBLEMA: La adaptación de bajo rango (LoRA) permite ajustar grandes modelos de lenguaje con muy pocos parámetros entrenables, pero los adaptadores de bajo rango sufren inestabilidad de entrenamiento y gran sensibilidad a la inicialización y a la tasa de aprendizaje, lo que limita su rendimiento y complica su uso en producción. SOLUCIÓN: El artículo propone una variante normalizada de la adaptación de bajo rango que incorpora normalización dentro del módulo adaptador para estabilizar el entrenamiento y mejorar la convergencia, conservando la eficiencia paramétrica característica de LoRA. METODOLOGÍA: Se introduce el esquema de normalización en el adaptador de bajo rango y se evalúa en tareas de fine-tuning de LLMs, comparando con LoRA estándar y otras variantes PEFT en términos de precisión final, estabilidad de la curva de pérdida, sensibilidad a hiperparámetros y varianza entre ejecuciones con distintas semillas. RESULTADOS: La variante normalizada muestra una convergencia más estable y robusta ante cambios de tasa de aprendizaje, con resultados competitivos o superiores a LoRA estándar en las tareas evaluadas y una reducción notable de la varianza entre ejecuciones, lo que facilita su despliegue sin costosa búsqueda de hiperparámetros. RELEVANCIA: Hacer más estable el fine-tuning de bajo rango abarata y hace más fiable la adaptación eficiente de LLMs, lo que beneficia el despliegue de modelos especializados en entornos con recursos computacionales limitados y acelera la experimentación con adaptadores PEFT en equipos de investigación y producción.