RISE: imaginación adaptativa para modelos de acción en el mundo | Cómo dotar a los modelos de mundo-acción de la capacidad de imaginar y simular consecuencias antes de actuar | Método de aprendizaje por refuerzo basado en modelos (model-based RL) que equilibra exploración y planificación para agentes robóticos

Abstract

PROBLEMA: los modelos de mundo-acción (world action models) deben equilibrar el uso de la imaginación interna —simular el resultado de las acciones— con la actuación real en el entorno; si imaginan demasiado poco exploran a ciegas y si imaginan demasiado incurren en errores y coste computacional del modelo. SOLUCIÓN: el trabajo presenta RISE, un mecanismo de imaginación adaptativo que decide dinámicamente cuánto y cuándo desplegar la simulación interna con el mundo para mejorar la toma de decisiones y la recolección de experiencia. METODOLOGÍA: integra un modelo de mundo como módulo de imaginación en un bucle de aprendizaje por refuerzo basado en modelos, con una política que controla la profundidad de rollout según la incertidumbre de la predicción; usa experiencias imaginadas y reales para actualizar el agente sobre entornos de simulación robótica. RESULTADOS: RISE muestra una mayor eficiencia muestral y una planificación más robusta que alternativas con imaginación fija, reduciendo el coste de muestras reales y mejorando la tasa de éxodo en tareas de control concolaterales y de manipulación. RELEVANCIA: ilumina el uso eficiente de los modelos de mundo en sistemas robóticos y modelos de acción, conexión importante entre el aprendizaje de modelos predictivos y la toma de decisiones de agentes físicos.