DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation | Aceleración de modelos de lenguaje mediante especulación basada en confianza | Método semi-autoregresivo para optimizar la velocidad de respuesta de LLMs

Abstract

PROBLEMA: La decodificación autoregresiva es el cuello de botella principal de los LLMs debido a su naturaleza secuencial, lo que eleva la latencia y los costos de cómputo en producción. SOLUCIÓN: Introducen DSpark, un método de decodificación especulativa que utiliza un planificador basado en confianza para gestionar la generación semi-autoregresiva. METODOLOGÍA: El sistema utiliza un modelo 'borrador' que predice múltiples tokens futuros en paralelo, cuya validez es verificada por el modelo grande basándose en un umbral de confianza dinámico ajustable. RESULTADOS: Demuestran una mejora sustancial en el throughput de tokens por segundo sin degradar la calidad del texto generado en comparación con la decodificación especulativa tradicional. RELEVANCIA: Optimiza el despliegue de modelos de alto rendimiento como DeepSeek para aplicaciones en tiempo real que requieren baja latencia.