RAGEN-2: Colapso del razonamiento en RL agéntica | Por qué los agentes de IA dejan de razonar correctamente durante el aprendizaje por refuerzo | Preservación de cadenas de pensamiento en agentes autónomos mediante RL

Abstract

PROBLEMA: Los sistemas de IA diseñados para razonar mientras actúan suelen sufrir de lo que los autores denominan 'colapso de razonamiento' (reasoning collapse), donde el agente optimiza la recompensa pero pierde la capacidad de generar cadenas de pensamiento lógicas y coherentes. SOLUCIÓN: El paper presenta RAGEN-2, un marco de trabajo que analiza las causas de esta degradación y propone técnicas de regularización para mantener el razonamiento explícito durante el entrenamiento por refuerzo. METODOLOGÍA: Utilizan entornos de agentes complejos y comparan modelos base con diferentes configuraciones de entrenamiento RL, monitoreando la calidad de las trazas de pensamiento (Chain-of-Thought). RESULTADOS: Demuestran que sin restricciones específicas, el modelo tiende a 'atajar' el proceso mental, mientras que RAGEN-2 preserva la interpretabilidad y el éxito en la tarea. RELEVANCIA: Es fundamental para el desarrollo de agentes autónomos que deben ser confiables y cuyas decisiones deben ser auditables mediante procesos de razonamiento visibles.