Escalado de Mixture-of-Experts en preentrenamiento de video para inteligencia física | Modelos MoE eficientes para visión en robótica | Cómo entrenar modelos de video masivos para agentes autónomos

Abstract

PROBLEMA: El preentrenamiento de modelos para inteligencia física (embodied intelligence) requiere una cantidad masiva de datos visuales y computación, lo cual es difícil de escalar con arquitecturas densas tradicionales. SOLUCIÓN: Los autores proponen escalar el preentrenamiento de video utilizando arquitecturas de Mezcla de Expertos (Mixture-of-Experts - MoE), permitiendo modelos más grandes con un costo de inferencia controlado. METODOLOGÍA: Se preentrenó un modelo MoE en un dataset masivo de videos de interacción humana y robótica, optimizando la asignación de expertos para diferentes tipos de movimiento y contexto. RESULTADOS: El enfoque MoE demostró ser más eficiente en el uso de parámetros que los modelos densos, logrando un mejor rendimiento en la transferencia de tareas a robots reales. RELEVANCIA: Este trabajo establece una hoja de ruta para entrenar el "cerebro visual" de los futuros agentes autónomos y espaciales mediante escalado eficiente.