Modelos de mundo interactivos en tiempo real con memoria de parches: Matrix-Game 3.5 | Cómo mantener la coherencia visual y semántica en simulaciones neuronales durante interacciones largas | Motor de simulación neuronal interactivo para juegos, robótica y entrenamiento de agentes en entornos continuos

Abstract

PROBLEMA: Los modelos de mundo interactivos deben generar simulaciones coherentes en tiempo real y mantener la consistencia a lo largo de secuencias largas de interacción, pero los enfoques actuales sufren deriva visual y semántica con el paso del tiempo y no escalan bien al streaming de entornos dinámicos. SOLUCIÓN: Matrix-Game 3.5 introduce una memoria de parches (patch memory) que mejora la generación de modelos de mundo interactivos en tiempo real, preservando la coherencia de objetos y escenas durante la interacción continua del usuario. METODOLOGÍA: El sistema combina un modelo de mundo generativo basado en parches con un mecanismo de memoria explícito que conserva y recupera información de regiones de la escena a lo largo del tiempo; se entrena sobre entornos interactivos para predecir los siguientes estados visuales condicionados a los comandos del usuario, operando en modo streaming en tiempo real con bajo coste por paso. RESULTADOS: El método logra una simulación interactiva en tiempo real con mayor consistencia temporal y menor deriva de contenido frente a los baselines, según métricas de calidad visual y estabilidad de la escena en sesiones prolongadas, mejorando la fiabilidad y la calidad de la experiencia de simulación continua. RELEVANCIA: Los modelos de mundo con memoria explícita son un paso clave hacia agentes y simuladores neuronales capaces de planificar y razonar en entornos continuos, con aplicaciones directas en videojuegos, robótica y simulación para el entrenamiento de agentes encarnados y la construcción de modelos de mundo predictivos.