NFPO: Optimización de políticas basada en el futuro cercano para RL robusto | Técnica para estabilizar el entrenamiento de agentes de refuerzo | Algoritmo de RL para mayor eficiencia y control predictivo

Abstract

PROBLEMA: Los métodos de optimización de políticas actuales (como PPO) a menudo sufren de alta varianza y colapsos de rendimiento cuando la recompensa es escasa o el entorno cambia rápidamente. SOLUCIÓN: Se presenta Near-Future Policy Optimization (NFPO), un algoritmo que incorpora información de estados futuros cercanos para suavizar el gradiente de la política y asegurar actualizaciones más consistentes. METODOLOGÍA: Utiliza una función de valor proyectada que evalúa no solo el estado actual, sino la trayectoria inmediata probable para regular la divergencia KL. RESULTADOS: NFPO supera a los benchmarks estándar en entornos de control complejo, mostrando una convergencia más rápida y una mayor robustez frente al ruido en las observaciones. RELEVANCIA: Fundamental para el despliegue de modelos de mundo y robótica donde la estabilidad es un requisito de seguridad.