KV Packet: Caché de contexto independiente y libre de recomputación para LLMs | Optimización radical del KV Cache para reducir latencia en modelos de lenguaje | Técnica de persistencia de atención para inferencia eficiente en Transformers

Abstract

PROBLEMA: La gestión del KV Cache es el cuello de botella principal en la inferencia de LLMs, especialmente en diálogos largos donde la recomputación de prefijos comunes y la gestión de memoria consumen tiempo y recursos computacionales excesivos. SOLUCIÓN: KV Packet propone un método de almacenamiento de caché de contexto que es totalmente independiente y no requiere recomputación. Permite "empaquetar" activaciones de atención para ser reutilizadas dinámicamente entre diferentes sesiones de inferencia. METODOLOGÍA: Introduce una arquitectura de memoria desacoplada que separa el estado latente del contexto del flujo de inferencia principal, permitiendo el intercambio de paquetes de KV entre diferentes prompts que comparten información. RESULTADOS: Logra una reducción del 40% en el tiempo de primer token (TTFT) y aumenta el rendimiento total de tokens por segundo sin pérdida de precisión. RELEVANCIA: Es una tecnología clave para sistemas RAG y agentes que mantienen contextos de larga duración o bases de conocimiento dinámicas.