Prime Agent: un harness de auto-mejora para modelos de lenguaje con razonamiento (RLM) | Cómo entrenar y mejorar de forma autónoma y continua modelos de razonamiento sin supervisión externa | Infraestructura de aprendizaje por refuerzo autoevaluativo que escala las capacidades de agentes de IA en tareas complejas

Abstract

PROBLEMA: los modelos de lenguaje con razonamiento (reasoning language models, RLM) suelen requerir costosas y complejas tuberías de etiquetado y reentrenamiento para mejorar, lo que limita su evolución autónoma y su uso como agentes autosuficientes en entornos reales. SOLUCIÓN: el trabajo propone Prime Agent, un harness de auto-mejora que combina aprendizaje por refuerzo (RL) con autoevaluación para permitir que un agente RLM observe sus propias salidas, las puntúe y refine sus políticas de manera continua. El sistema integra control de calidad de datos, generación de tareas y bucles de retroalimentación para escalar la capacidad de razonamiento de forma iterativa. METODOLOGÍA: emplea aprendizaje por refuerzo sobre políticas de razonamiento con recompensas derivadas de verificación programática y evaluación de resultados, junto con pipelines de auto-etiquetado y filtrado de trayectorias; se valida sobre benchmarks de razonamiento y tareas agénticas complejas. RESULTADOS: el harness muestra mejoras sostenidas en precisión y robustez frente a modelos con razonamiento fijo, con reducción de costos de etiquetado y mayor adaptación a tareas nuevas; se presentan comparaciones frente a pipelines estándar de RLHF y fine-tuning. RELEVANCIA: aporta una arquitectura práctica para convertir LLMs en agentes que se mejoran a sí mismos, clave para sistemas agénticos autónomos y para el aprendizaje por refuerzo a partir de IA en producción.