Mecánica de la memoria paramétrica en adaptadores LoRA | Cómo LoRA almacena información durante el ajuste fino de LLMs | Leyes de capacidad y retención en entrenamiento Low-Rank Adaptation

Abstract

PROBLEMA: A pesar del uso masivo de LoRA para adaptar modelos de lenguaje, la mecánica subyacente de cómo estos adaptadores de bajo rango almacenan o "recuerdan" información nueva o previa no es bien comprendida. SOLUCIÓN: El estudio establece una "Ley de Memoria Paramétrica", proporcionando un marco teórico y empírico para entender la dinámica de almacenamiento de información durante el ajuste fino con LoRA. METODOLOGÍA: Realizan experimentos exhaustivos variando el rango (rank), el tamaño del modelo y la densidad de datos, analizando la capacidad de recuperación de conocimiento y la interferencia con el conocimiento base. RESULTADOS: Identifican una relación matemática predecible entre los parámetros entrenables y la retención de datos, permitiendo predecir cuándo un ajuste LoRA saturará su capacidad de memoria. RELEVANCIA: Ayuda a ingenieros a determinar el "rank" óptimo y la cantidad de datos necesaria para un ajuste fino eficiente sin degradar el modelo original.