JetSpec: Rompiendo el Techo de Escalado en Decodificación Especulativa | Aceleración de inferencia en LLMs mediante drafting de árboles paralelos | Optimización de latencia en modelos de lenguaje con verificación múltiple de tokens

Abstract

PROBLEMA: La decodificación especulativa convencional tiene un límite de eficiencia (scaling ceiling) debido a que el proceso de 'drafting' es secuencial o insuficientemente paralelo para modelos muy grandes. SOLUCIÓN: Proponen JetSpec, un método que utiliza un 'Parallel Tree Drafting' para generar múltiples ramificaciones de tokens candidatos de forma simultánea, aumentando drásticamente la probabilidad de aceptación por el modelo principal. METODOLOGÍA: Desarrollan un algoritmo de búsqueda en árbol optimizado para hardware moderno (GPUs) que permite la verificación en un solo paso de cómputo de múltiples secuencias posibles. RESULTADOS: JetSpec logra una mejora de velocidad de hasta 3-5x comparado con la decodificación estándar, sin perder la exactitud matemática del modelo original. RELEVANCIA: Clave para reducir los costos operativos y la latencia en el despliegue masivo de LLMs de próxima generación.