Aceleración de Rollouts de RL mediante Decodificación Especulativa Integrada | Optimización de sistemas para el entrenamiento por refuerzo de LLMs | Cómo reducir el tiempo de entrenamiento de agentes de IA con hardware de NVIDIA

Abstract

PROBLEMA: La generación de rollouts durante el post-entrenamiento por refuerzo (RL) es el cuello de botella principal, consumiendo hasta el 80% del tiempo de cómputo debido a la naturaleza auto-regresiva de los LLMs. SOLUCIÓN: El paper propone una integración a nivel de sistema de la decodificación especulativa, adaptada específicamente para las dinámicas de muestreo de RL, donde la diversidad de las respuestas es necesaria. METODOLOGÍA: Implementan un sistema que utiliza modelos 'draft' dinámicos que se sincronizan con las actualizaciones del modelo principal en tiempo real dentro del cluster de entrenamiento. RESULTADOS: Reportan una aceleración de hasta 3x en la fase de generación de datos de entrenamiento sin degradar la calidad de las políticas aprendidas. RELEVANCIA: Permite iterar mucho más rápido en el alineamiento de modelos, reduciendo drásticamente el coste energético y temporal de crear IAs más seguras y capaces.