El Poder Oculto del Factor de Escala en la Optimización LoRA | Análisis del impacto de hiperparámetros en el ajuste fino con LoRA | Guía para optimizar el escalado de adaptadores en modelos de lenguaje grande

Abstract

PROBLEMA: A pesar de la popularidad de Low-Rank Adaptation (LoRA), el papel crítico del factor de escala (scaling factor) en la estabilidad y rendimiento del entrenamiento ha sido subestimado o mal comprendido. SOLUCIÓN: Este paper analiza matemáticamente y mediante experimentación el impacto del escalado en la geometría visual de las actualizaciones de pesos en LoRA. METODOLOGÍA: Los autores realizaron pruebas exhaustivas variando factores de escala en múltiples modelos (Llama 3, Mistral) y midiendo la dirección del gradiente y la estabilidad del aprendizaje. RESULTADOS: Identifican una 'zona dorada' de escalado que previene la degradación del conocimiento previo del modelo base mientras maximiza la adaptación a nuevos datos. RELEVANCIA: Permite a los ingenieros de ML realizar fine-tuning más robustos y rápidos en entornos con recursos computacionales limitados.