WorldDirector: Construcción de simuladores de mundo controlables con memoria persistente | Modelos de mundo con consistencia temporal y espacial mejorada | Sistema para generar entornos virtuales coherentes para entrenamiento de agentes

Abstract

PROBLEMA: Los simuladores de mundo actuales basados en vídeo a menudo pierden la consistencia de los objetos o la física después de unos pocos segundos, lo que los hace inútiles para entrenar agentes robóticos o de conducción. SOLUCIÓN: WorldDirector presenta una arquitectura con 'Memoria Dinámica Persistente' (PDM) que permite rastrear y mantener el estado de todos los objetos en una escena 3D generada, incluso cuando salen de cuadro. METODOLOGÍA: Utilizan una representación latente de video vinculada a una base de datos de características espaciales que garantiza que cada vez que la 'cámara' vuelve a una posición, el mundo se mantenga igual. RESULTADOS: Logran una mejora del 40% en métricas de consistencia a largo plazo en comparación con modelos de difusión de vídeo estándar (SVD/Pika). RELEVANCIA: Este paper es un paso fundamental hacia los 'modelos de mundo' que permitirán a las IAs aprender leyes físicas en entornos virtuales antes de ser desplegadas en el mundo real.