DreamX-Phi 1.0: modelo de mundo de video condicionado por acciones para manipulación robótica | Cómo predecir el resultado visual de acciones robóticas para mejorar la manipulación | Modelo de mundo accionado por acción que permite entrenar robots manipuladores sin contacto físico

Abstract

PROBLEMA: los robots manipuladores necesitan predecir las consecuencias de sus acciones en el entorno, pero recopilar datos de interacción física es caro, lento y arriesgado. Además, los modelos de mundo vídeo existentes no siempre condicionan correctamente la predicción a la acción del robot. SOLUCIÓN: DreamX-Phi 1.0 introduce un modelo de mundo de vídeo condicionado por acciones específico para manipulación robótica: dado el estado visual actual y una acción, el modelo genera el siguiente fotograma o secuencia, permitiendo simular mentalmente el resultado de la acción antes de ejecutarla y usarlo como señal de entrenamiento o planificación. METODOLOGÍA: se entrena un modelo de vídeo generativo que integra la acción del robot como condición explícita en la arquitectura, buscando consistencia física entre fotogramas; se evalúa sobre dataset de manipulación y tareas donde el modelo actúa como simulador para el agente controlador. RESULTADOS: el modelo produce predicciones de vídeo coherentes con la acción ejecutada y sirve como base para entrenar políticas de manipulación, reduciendo la dependencia de datos reales de interacción y mejorando la generalización. RELEVANCIA: es una contribución clave de modelos de mundo para robótica (Block 6): habilita sim-to-real y aprendizaje basado en imaginación, reduciendo coste de datos físicos y acelerando el entrenamiento de políticas.