ShadowPEFT: Redes sombra para el ajuste fino eficiente de parámetros | Superando a LoRA en la adaptación de modelos de gran escala | Estrategia de entrenamiento paralelo para optimizar la memoria en LLMs

Abstract

PROBLEMA: Métodos de adaptación como LoRA, aunque eficientes, a veces no logran capturar la complejidad total de las tareas debido a su estructura de bajo rango estática, lo que limita su capacidad en modelos extremadamente grandes. SOLUCIÓN: ShadowPEFT propone el uso de una 'Red Sombra' (Shadow Network) que opera en paralelo a la red principal durante el ajuste fino, permitiendo una identificación más precisa de los parámetros críticos que necesitan actualización. METODOLOGÍA: La técnica utiliza una arquitectura que desacopla la identificación de gradientes de la actualización de pesos, optimizando solo un subconjunto dinámico de la red. RESULTADOS: ShadowPEFT supera a LoRA y sus variantes en tareas de comprensión de lenguaje natural y generación de código, utilizando hasta un 20% menos de memoria VRAM. RELEVANCIA: Esta técnica permite a organizaciones con recursos limitados ajustar modelos de escala GPT-4 para dominios específicos con alta precisión.