Predicción eficiente de múltiples tokens sin entrenamiento mediante sondeo de embeddings | Cómo acelerar la inferencia de LLMs sin modificar el modelo original | Método de optimización de velocidad de generación basado en el espacio latente de embeddings

Abstract

PROBLEMA: La predicción de múltiples tokens (MTP) para acelerar la generación de texto suele requerir cambios arquitectónicos o fases de entrenamiento adicionales muy costosas. SOLUCIÓN: Este paper introduce un método para habilitar la predicción de múltiples tokens en modelos ya existentes "training-free" (sin entrenamiento adicional) mediante el sondeo (probing) inteligente del espacio de embeddings del modelo. METODOLOGÍA: El sistema extrae información latente de las capas finales sobre posibles tokens futuros y utiliza un mecanismo de verificación liviano para validar las secuencias predichas. RESULTADOS: Logra aceleraciones de hasta 1.5x-2x en la latencia de generación con una pérdida mínima de calidad, aplicable a modelos de código abierto sin necesidad de intervención en las pesas originales. RELEVANCIA: Permite una optimización inmediata del despliegue en producción de LLMs, reduciendo costos operativos y mejorando la experiencia del usuario final.