SimRecon: Reconstrucción Composicional de Escenas para el Entrenamiento de Modelos de Mundo

Abstract

SimRecon aborda el problema de convertir videos del mundo real en representaciones de escenas composicionales listas para simulación (Sim-Ready). El modelo es capaz de descomponer dinámicas de video complejas en entidades individuales con propiedades físicas y espaciales consistentes. Este es un avance crítico para la creación de modelos de mundo, ya que permite que un agente aprenda las reglas de interacción de un entorno simplemente observando videos. El sistema utiliza un enfoque de reconstrucción basado en aprendizaje autosupervisado que garantiza que los objetos mantengan su integridad estructural incluso bajo oclusión. Al integrarse en marcos de Reinforcement Learning basado en modelos, SimRecon permite el entrenamiento de políticas en entornos simulados que reflejan fielmente la dinámica espacial y temporal del mundo real, facilitando la transferencia sim-to-real en tareas de manipulación y navegación compleja.