Optimización de contexto largo mediante eliminación selectiva de KV Cache | Cómo manejar miles de tokens de contexto con menos memoria RAM | Técnica de gestión de memoria para modelos de lenguaje en tareas de lectura extensa

Abstract

PROBLEMA: A medida que los LLMs procesan ventanas de contexto más largas, el crecimiento de la caché de Clave-Valor (KV Cache) se convierte en un cuello de botella crítico para la memoria y la latencia del sistema. SOLUCIÓN: El paper introduce un método inteligente de eliminación de tokens en la caché (Make Each Token Count) que prioriza la retención de información semánticamente densa y relevante para la generación actual. METODOLOGÍA: Utilizan métricas de importancia de atención dinámica para identificar qué tokens del pasado contribuyen menos a las predicciones futuras, permitiendo su eliminación sin degradar la coherencia. RESULTADOS: El método logra reducir el uso de memoria en un 50% manteniendo el rendimiento en benchmarks de contexto largo (como RULER), superando a métodos de poda estáticos. RELEVANCIA: Es crucial para el despliegue de sistemas RAG y asistentes que operan con documentos masivos de forma económica.