TTPO: optimización de la política del agente en tiempo de test | Cómo mejorar el comportamiento de una política entrenada adaptándola durante la inferencia | Técnica de test-time compute para robustez y generalización de agentes de RL ante nuevos escenarios

Abstract

PROBLEMA: las políticas entrenadas con aprendizaje por refuerzo —incluidas las de agentes basados en LLM— degradan su desempeño cuando el entorno o la distribución de tareas cambia tras el entrenamiento; reentrenar o ajustar los pesos es costoso y a menudo inviable en despliegue real. SOLUCIÓN: TTPO (Test-Time Policy Optimization) propone optimizar la política en el momento de la prueba o inferencia, adaptando el comportamiento del agente a la situación actual sin requerir una nueva fase de entrenamiento con actualización de pesos. METODOLOGÍA: desarrolla un procedimiento de optimización en tiempo de test que ajusta la política sobre la marcha, aprovechando el cómputo disponible en inferencia para mejorar la selección de acciones ante escenarios nuevos o distribución cambiante. RESULTADOS: el enfoque muestra mejoras de desempeño ante situaciones no vistas al adaptar la política durante el test, frente a la ejecución estática de la política entrenada, sin incurrir en el coste de un reentrenamiento completo. RELEVANCIA: conecta directamente con la tendencia de test-time compute en LLMs y agentes: adaptar el comportamiento en inferencia sin reentrenar es una palanca económica y escalable para robustez, cambios de distribución y generalización, aplicable tanto a agentes de RL como a modelos de lenguaje razonadores.