Modelos de Mezcla de Expertos con Extensión Temporal | Incremento de coherencia y eficiencia en modelos MoE para datos secuenciales | Arquitectura de IA optimizada para predicción de dinámicas físicas y series temporales largas

Abstract

PROBLEMA: Los modelos tradicionales de Mezcla de Expertos (MoE) seleccionan expertos token por token, lo que resulta en una gestión ineficiente de la coherencia temporal en secuencias largas. SOLUCIÓN: Proponen modelos MoE con extensión temporal que mantienen la selección de expertos de forma persistente a través de segmentos temporales, permitiendo una especialización más profunda. METODOLOGÍA: Rediseñan el router del MoE para que aprenda dinámicas de transición entre expertos basadas en el estado temporal latente, aplicado a tareas de modelado de mundo y predicción física. RESULTADOS: Reducción del error de predicción en trayectorias físicas complejas y una ganancia de rendimiento computacional al evitar el cambio constante de pesos en memoria (expert switching). RELEVANCIA: Altamente aplicable a la predicción de trayectorias (dinámica orbital) y modelos de mundo para agentes físicos donde la continuidad temporal es clave.