ProRL Agent: Rollout-as-a-Service para entrenamiento de agentes multi-turno | Infraestructura eficiente para RL en modelos de lenguaje de larga duración | Optimización del entrenamiento de agentes mediante generación de datos asíncrona

Abstract

PROBLEMA: El entrenamiento por refuerzo de agentes que operan en múltiples turnos (multi-turn) es extremadamente costoso computacionalmente debido a la generación masiva de trayectorias (rollouts). SOLUCIÓN: Se introduce ProRL Agent, un sistema de 'Rollout-as-a-Service' que desacopla el entrenamiento de la generación de datos, optimizando el flujo de trabajo de RL. METODOLOGÍA: El sistema permite que múltiples trabajadores generen trayectorias de interacción en paralelo que luego son consumidas de forma eficiente por los algoritmos de optimización de política. RESULTADOS: Logra una aceleración sustancial en el tiempo de entrenamiento y permite escalar agentes a conversaciones mucho más largas con mayor coherencia. RELEVANCIA: Esencial para desarrolladores de agentes complejos que requieren interacciones persistentes y coherentes en el tiempo.