MatryoshkaLoRA: Adaptadores jerárquicos de bajo rango para ajuste fino de LLMs | Implementación de LoRA con rangos variables en un solo entrenamiento | Optimización de adaptadores elásticos para despliegue dinámico de IA

Abstract

PROBLEMA: El ajuste fino tradicional mediante LoRA (Low-Rank Adaptation) requiere fijar un rango estático (r), lo que obliga a reentrenar múltiples modelos si se desea comparar diferentes niveles de capacidad o eficiencia de memoria. SOLUCIÓN: El paper propone MatryoshkaLoRA, un método que entrena representaciones de bajo rango jerárquicas y anidadas, permitiendo que un único adaptador contenga sub-adaptadores de menor rango funcionales en su interior. METODOLOGÍA: Adaptan el concepto de 'Matryoshka Embeddings' a la descomposición de matrices de LoRA, optimizando simultáneamente múltiples niveles de rango mediante una pérdida compuesta. RESULTADOS: Los modelos resultantes permiten extraer adaptadores de diferentes tamaños (por ejemplo, desde rango 1 a 64) sin pérdida de precisión sustancial frente a modelos estáticos, facilitando el despliegue elástico. RELEVANCIA: Es crucial para infraestructuras de IA que necesitan ajustar el consumo de recursos dinámicamente según la carga de trabajo en producción.