La atención por ventana deslizante supera a la atención lineal en transformers | Ventanas deslizantes vs atención lineal: qué mecanismo es más eficiente y preciso para modelos de lenguaje | Método arquitectónico sencillo para reducir el coste computacional de la atención sin perder rendimiento

Abstract

PROBLEMA: Para reducir el coste cuadrático de la atención en transformers se han propuesto mecanismos de atención lineal; sin embargo, su simplificación puede degradar la capacidad de capturar información local relevante y, en muchos casos, no alcanza el rendimiento de mecanismos más simples. SOLUCIÓN: Este estudio muestra que la atención por ventana deslizante (sliding-window attention) supera a la atención lineal, ofreciendo un mejor equilibrio entre eficiencia computacional y calidad. Al restringir la atención a una ventana local, se conserva capacidad expresiva con coste lineal. METODOLOGÍA: El trabajo realiza una comparación sistemática entre atención lineal, ventana deslizante y variantes híbridas sobre arquitecturas de lenguaje, evaluando calidad de modelado, velocidad de inferencia y escalado a contextos largos, además de analizar los factores que explican la ventaja de cada mecanismo. RESULTADOS: La atención por ventana deslizante logra mejor rendimiento que la lineal en las métricas evaluadas, con costes computacionales comparables o incluso inferiores, lo que cuestiona la necesidad de recurrir a aproximaciones lineales para lograr eficiencia. El estudio aporta además directrices sobre cuándo cada mecanismo resulta más adecuado. RELEVANCIA: Ofrece una decisión arquitectónica clara para quienes diseñan LLMs eficientes: mecanismos simples de ventana deslizante pueden ser suficientes y superiores, impactando en el diseño de transformers para inferencia rápida, contexto largo y despliegue eficiente.