Arquitecturas de Atención Lineal: Mecanismos, Trade-offs y Ruteo entre Capas | Comparativa de eficiencia y precisión en modelos de atención sub-cuadrática | Técnica de ruteo híbrido para acelerar la inferencia en Transformers

Abstract

PROBLEMA: La atención Softmax estándar tiene un costo computacional cuadrático, lo que limita su escalabilidad. Las alternativas de atención lineal existen, pero a menudo sacrifican expresividad y calidad en el razonamiento. SOLUCIÓN: Este estudio exhaustivo analiza las arquitecturas de atención lineal modernas, identificando los trade-offs críticos entre velocidad y precisión. Proponen una nueva técnica de 'Ruteo entre Capas' (Cross-Layer Routing) para combinar lo mejor de ambos mundos. METODOLOGÍA: Realizaron un benchmark masivo entrenando modelos desde cero con diferentes núcleos de atención (linear, flash, sliding window) y midiendo su eficiencia en hardware real. RESULTADOS: Demuestran que el ruteo inteligente permite que solo ciertas capas utilicen atención cuadrática pesada, mientras que el resto opera en tiempo lineal, manteniendo el 99% de la precisión con una aceleración del 40%. RELEVANCIA: Clave para la próxima generación de modelos 'edge' y aplicaciones que requieren baja latencia en dispositivos con recursos limitados.