Causal-rCM: Modelos de mundo interactivos mediante destilación de difusión | Generación de video autoregresivo en tiempo real para simulación | Optimización de modelos de difusión para entornos interactivos y streaming

Abstract

PROBLEMA: Los modelos de difusión tradicionales son computacionalmente costosos para aplicaciones interactivas en tiempo real, como simulaciones de mundos o generación de video en streaming. SOLUCIÓN: Causal-rCM presenta una receta unificada que combina 'Teacher-Forcing' y 'Self-Forcing' para destilar modelos de difusión autoregresivos, optimizando la generación causal y la coherencia temporal. METODOLOGÍA: El equipo de NVIDIA aplica una destilación por consistencia adaptada a secuencias temporales largas, permitiendo que el modelo aprenda a corregir sus propios errores de predicción futura. RESULTADOS: El método reduce la latencia de generación en un factor de 10x manteniendo una alta fidelidad visual en entornos dinámicos e interactivos. RELEVANCIA: Esencial para el avance de 'World Models' en robótica y gaming, donde la respuesta inmediata del entorno a las acciones del agente es crítica.