GQLA: Atención latente por grupos de consulta para decodificación de LLM adaptativa al hardware | Técnica de optimización de atención para acelerar la inferencia en transformers | Cómo mejorar la velocidad de procesamiento de tokens según la GPU utilizada

Abstract

PROBLEMA: La eficiencia en la decodificación de LLMs se ve limitada por el ancho de banda de la memoria y la falta de alineación entre la arquitectura de atención y las capacidades específicas del hardware. SOLUCIÓN: El paper introduce GQLA (Group-Query Latent Attention), una arquitectura de atención que permite la adaptación dinámica basada en los recursos del hardware objetivo. METODOLOGÍA: GQLA utiliza una representación latente para comprimir las cabezas de atención en grupos variables, permitiendo un equilibrio flexible entre la calidad del modelo y la velocidad de inferencia a nivel de kernel. RESULTADOS: Las pruebas muestran una aceleración del 1.5x a 2x en el procesamiento de tokens en comparación con arquitecturas estándar, sin degradación notable en la perplejidad del modelo. RELEVANCIA: Crucial para el despliegue a escala industrial de modelos de lenguaje donde la latencia y el costo por token son métricas determinantes.