FlashMemory en DeepSeek-V4: Atención dispersa para contexto ultra largo | Inferencia ultrarrápida en LLMs con ventanas de contexto masivas | Optimización de memoria KV-cache mediante predicción de relevancia en transformadores

Abstract

PROBLEMA: A medida que los LLMs expanden su ventana de contexto a millones de tokens (como en DeepSeek-V4), el costo computacional de la atención densa y el almacenamiento de la caché KV se vuelven cuellos de botella insuperables para la ejecución en tiempo real. SOLUCIÓN: El paper introduce FlashMemory-DeepSeek, un sistema que utiliza 'Lookahead Sparse Attention' para predecir qué bloques de memoria serán relevantes, cargándolos de forma asíncrona y reduciendo drásticamente las lecturas innecesarias. METODOLOGÍA: Implementan un esquema de indexación relámpago que organiza el contexto en jerarquías de importancia semántica, permitiendo una recuperación de tokens con latencia constante independientemente del tamaño de la ventana. RESULTADOS: Logran una reducción del 5x en la latencia de primer token y un aumento del 3x en el throughput de generación para ventanas de hasta 2 millones de tokens. RELEVANCIA: Vital para aplicaciones de análisis de documentos masivos y repositorios completos de código donde el contexto no puede ser truncado.