MoVerse: Modelado del mundo en video mediante andamiajes gaussianos | Creación de representaciones 3D dinámicas a partir de video real | Sistema de simulación de entornos físicos para agentes inteligentes actualizable en tiempo real

Abstract

PROBLEMA: Crear modelos de mundo consistentes que respeten las leyes físicas y tengan continuidad espacial a partir de video sigue siendo un reto computacional inmenso. SOLUCIÓN: MoVerse propone el uso de 'Panoramic Gaussian Scaffolds' para modelar el mundo en video en tiempo real, proporcionando una estructura geométrica estable sobre la cual se proyecta la dinámica visual. METODOLOGÍA: Combina técnicas de splatting de gaussianas 3D con modelos de difusión temporal para garantizar que los objetos mantengan su forma y posición al cambiar el punto de vista. RESULTADOS: Logra una consistencia visual 3D superior a modelos previos de SORA o Gen-3 en trayectorias de cámara largas y cambios de iluminación extremos. RELEVANCIA: Estos modelos de mundo son el 'simulador interno' que los futuros agentes espaciales y robots usarán para predecir las consecuencias de sus acciones antes de ejecutarlas.