Tu modelo MoE no tiene que seleccionar un número fijo de expertos

Los modelos Mixture-of-Experts (MoE) tradicionales emplean un enrutamiento top-k fijo, lo que resulta rígido e ineficiente para tokens de diferente complejidad. Este artículo explica el enrutamiento dinámico, que adapta el número de expertos activados por token, usando una analogía con furgonetas de mudanzas. Se detallan técnicas como umbralización (MoE-Dynamic, DynMoE, ReMoE, BlockFFN), propositores dinámicos (Ada-K) y expertos de cómputo cero (AdaMoE, MoE++), que mejoran el rendimiento y la eficiencia en modelos de lenguaje grandes. Aunque persisten desafíos como el equilibrio entre rendimiento y eficiencia, o el control de la dispersidad, estas innovaciones representan un avance prometedor para los MoE en IA.