Habilitando personajes socialmente interactivos y controlables dentro de modelos de mundo de video | Cómo generar personajes con comportamiento social e interacción en modelos de mundo generativos | World models de video que permiten control e interacción social de personajes para simulación y videojuegos

Abstract

PROBLEMA: Los modelos de mundo basados en video generan escenas visualmente realistas pero carecen de personajes interactivos y socialmente coherentes: el usuario no puede controlar de forma consistente el comportamiento de los personajes dentro de la simulación, lo que limita su uso en videojuegos, simulación y planificación. SOLUCIÓN: El paper introduce HelloWorld, un marco para dotar a los modelos de mundo de video de personajes socialmente interactivos, permitiendo que un personaje responda de manera coherente a las acciones del usuario y mantenga un comportamiento social plausible a lo largo del tiempo. METODOLOGÍA: Incorpora una representación de personajes con estado y memoria social integrada en el modelo de mundo, y entrena para que las acciones de control del usuario modifiquen de forma consistente las interacciones y trayectorias generadas por el modelo de difusión de video. RESULTADOS: Los personajes mantienen identidad y coherencia social durante secuencias largas, mejorando la interactividad y el control frente a modelos de mundo de video estándar, con mayor fidelidad en las interacciones y en la continuidad temporal. RELEVANCIA: extiende los modelos de mundo más allá de la síntesis de video hacia simuladores interactivos y agentes encarnados, un paso relevante para mundos simulados persistentes, sim-to-real y razonamiento predictivo de larga duración dentro de sistemas de IA.