MSA: Memory Sparse Attention para escalado eficiente a 100M de tokens | Cómo lograr contextos de 100 millones de tokens en modelos de lenguaje | Arquitectura de atención dispersa para memoria persistente de largo alcance

Abstract

PROBLEMA: El escalado de modelos con memoria de contexto extremadamente largo (hasta 100M de tokens) enfrenta cuellos de botella críticos en el consumo de memoria y la latencia computacional debido a la complejidad cuadrática de la atención estándar. SOLUCIÓN: El paper presenta MSA (Memory Sparse Attention), un mecanismo diseñado para permitir el escalado eficiente de extremo a extremo en modelos de memoria masiva. MSA optimiza la recuperación de información relevante sin procesar cada token en cada paso, manteniendo la coherencia en secuencias ultra largas. METODOLOGÍA: Implementan una arquitectura de atención dispersa basada en la selección dinámica de fragmentos de memoria y una integración optimizada de estados latentes. Los experimentos se realizaron en benchmarks de contexto largo superando los límites previos de 10M de tokens. RESULTADOS: Logran un escalado exitoso hasta 100 millones de tokens con una reducción significativa en el uso de VRAM y tiempos de inferencia competitivos frente a modelos de contexto corto. RELEVANCIA: Es fundamental para el desarrollo de agentes con memoria persistente de por vida y sistemas RAG que procesan bibliotecas enteras en un solo paso de inferencia.