Transferencia de Atención Completa a Esparza en Cien Pasos de Entrenamiento | Cómo optimizar modelos transformer para alta velocidad mediante atención dispersa | Técnica de destilación rápida para arquitecturas de atención eficiente en LLMs

Abstract

PROBLEMA: Los modelos con atención completa (Full Attention) son costosos computacionalmente ($O(n^2)$), pero los modelos de atención esparza (Sparse) suelen requerir preentrenamientos largos desde cero para alcanzar el mismo nivel de precisión. SOLUCIÓN: El estudio demuestra que es posible transferir las capacidades de un modelo de atención completa ya entrenado a una arquitectura de atención esparza en menos de cien pasos de entrenamiento. METODOLOGÍA: Proponen un método de destilación rápida que alinea los mapas de atención y las activaciones entre el profesor (full) y el alumno (sparse) utilizando un conjunto de datos de calibración pequeño pero diverso. RESULTADOS: Logran mantener el 98% del rendimiento original del modelo base mientras reducen la complejidad computacional para contextos largos de manera inmediata. RELEVANCIA: Permite transformar modelos existentes y potentes en versiones mucho más ligeras y rápidas para inferencia sin el coste de un re-entrenamiento completo.