Arquitecturas de Atención Lineal: Mecanismos, Compromisos y Enrutamiento entre Capas | Optimización de Transformers mediante atención lineal y dinámica | Guía técnica sobre eficiencia y escalabilidad en modelos de atención lineal

Abstract

PROBLEMA: La complejidad cuadrática de la atención estándar de los Transformers limita su uso en secuencias largas y dispositivos con recursos limitados. Aunque existen alternativas de atención lineal, a menudo sufren de degradación en la expresividad del modelo. SOLUCIÓN: Este estudio profundo de ETH Zurich analiza los mecanismos de transferencia y los compromisos (trade-offs) entre precisión y eficiencia en arquitecturas lineales. Proponen un nuevo método de "Cross-Layer Routing" que alterna dinámicamente entre atención estándar y lineal según la necesidad de la capa. METODOLOGÍA: Evaluación exhaustiva de 15 variantes de atención lineal en tareas de modelado de lenguaje y razonamiento, midiendo throughput vs. capacidad de recuperación de información. RESULTADOS: El enrutamiento entre capas logra mantener el 98% del rendimiento de un Transformer completo reduciendo el uso de memoria en un 60%. RELEVANCIA: Fundamental para ingenieros de ML que buscan desplegar modelos potentes en hardware local o procesar flujos de datos continuos.