Modelado Exploratorio: Desbloqueando un tercer eje de pre-entrenamiento | Generación end-to-end y exploración de estados en modelos de mundo | Mejora de la robustez en modelos predictivos mediante entrenamiento exploratorio

Abstract

PROBLEMA: El pre-entrenamiento actual se centra en la escala de datos y parámetros (dos ejes), pero ignora la capacidad del modelo para explorar activamente espacios de estados no vistos durante la generación. SOLUCIÓN: Proponen el 'Explorative Modeling' como un tercer eje de pre-entrenamiento que fomenta la generación de trayectorias diversas y la exploración de hipótesis dentro del modelo de mundo. METODOLOGÍA: Utilizan un objetivo de entrenamiento que penaliza la redundancia y premia la cobertura del espacio de estados en modelos predictivos de extremo a extremo. RESULTADOS: Los modelos resultantes demuestran una capacidad superior para manejar situaciones 'fuera de distribución' y una generación de contenido más creativa y físicamente coherente. RELEVANCIA: Redefine cómo entendemos la eficiencia del pre-entrenamiento y mejora drásticamente los modelos de mundo para robótica y simulación.