FlashPrefill V2: atencion de prefill dispersa por bloques para servir modelos de lenguaje de contexto largo | Como acelerar la fase de prefill en la inferencia de LLMs con ventanas de contexto extensas sin reentrenar | Tecnica de inferencia eficiente para reducir latencia y costo computacional en despliegues de produccion de transformers con gran contexto

Abstract

PROBLEMA: servir LLMs con contexto largo impone un cuello de botella computacional en la fase de prefill, donde se procesan millones de tokens antes de la generacion; el calculo de atencion plena en esa etapa limita la latencia y el throughput de los servicios de produccion. SOLUCION: FlashPrefill V2 introduce una atencion de prefill dispersa por bloques que reduce drasticamente el computo requerido en el prefill sin necesidad de reentrenar el modelo, acelerando el servicio de LLMs con contexto largo. METODOLOGIA: la cache de Key-Value se organiza en bloques y el metodo solo computa atencion sobre los bloques relevantes mediante un esquema de escasez por bloques, manteniendo cuencia de prefill y compatibilidad con infraestructura de servicio LLM existente de kernel eficientes. RESULTADOS: se reporta una aceleracion significativa de la fase de prefill y reduccion de memoria de KV cache, mejorando la latencia y el throughput en despliegues de contexto largo con perdidas de calidad minimas. RELEVANCIA: es una mejora de inferencia eficiente que aplica directamente a la produccion de LLM, ser el RAG con ventanas extensas y escenarios de memorizacion a largo plazo, reduciendo el costo operativo de escala.