Aceleración universal de prefill mediante esparcificación dinámica | Reducción de latencia en el procesamiento de prompts largos en LLMs | Optimización de la fase de pre-llenado de KV-cache por bloques dinámicos

Abstract

PROBLEMA: La fase de 'prefill' (procesamiento inicial del prompt) en contextos largos se está convirtiendo en el cuello de botella de latencia principal, especialmente con ventadas de contexto superiores a 256k tokens. SOLUCIÓN: UniPrefill propone un mecanismo de esparcificación dinámica por bloques que detecta y omite el cómputo de bloques de atención irrelevantes durante la fase de carga inicial sin degradar la calidad semántica. METODOLOGÍA: El sistema utiliza un estimador de importancia ligero que predice qué bloques de la matriz de atención serán críticos para la generación posterior, permitiendo una aceleración 'universal' aplicable a varios modelos. RESULTADOS: Logran reducciones de latencia de hasta un 50% en el tiempo de prefill para contextos extremadamente largos, manteniendo la integridad del razonamiento en tareas de recuperación masiva. RELEVANCIA: Esencial para aplicaciones de RAG de gran escala y agentes que operan con documentos extensos o bases de código completas.