WorldMark: Suite de benchmark para modelos de mundo de video interactivos | Evaluación de la física y la interactividad en modelos generativos de video | Marco estándar para medir la calidad predictiva de simuladores de IA en entornos físicos

Abstract

PROBLEMA: A pesar del auge de los modelos de mundo para generación de video, no existen métricas estandarizadas que evalúen qué tan bien estos modelos entienden la física interactiva y la causalidad espacial. SOLUCIÓN: WorldMark se propone como una suite de benchmarks unificada específicamente diseñada para evaluar modelos de mundo interactivos que predicen la evolución de un entorno tras una acción. METODOLOGÍA: La suite incluye tareas de manipulación de objetos, dinámicas de fluidos y navegación en escenarios 3D, midiendo la consistencia temporal y la respuesta a comandos externos. RESULTADOS: El estudio revela brechas significativas entre la apariencia visual de los videos y su validez física subyacente en la mayoría de los modelos SOTA actuales. RELEVANCIA: Clave para el desarrollo de simuladores de mundo para entrenamiento de flotas de robots y sistemas predictivos de dinámicas físicas complejas.