UniPool: Pool de Expertos Compartido Globalmente para Mixture-of-Experts | Cómo optimizar la arquitectura MoE en LLMs mediante expertos globales | Mejora de eficiencia en redes neuronales modulares con UniPool

Abstract

PROBLEMA: Las arquitecturas tradicionales de Mezcla de Expertos (MoE) presentan ineficiencias causadas por la especialización aislada de expertos, lo que genera desequilibrios en la carga de trabajo y redundancia de parámetros. SOLUCIÓN: El estudio propone UniPool, un mecanismo de estanque de expertos compartido globalmente que rompe las barreras entre capas y neuronas. METODOLOGÍA: Implementan un pool dinámico de expertos accesibles por cualquier token en cualquier profundidad de la red, utilizando un router global optimizado para la asignación de recursos. RESULTADOS: UniPool logra una mejora en la precisión del modelo reduciendo el número de parámetros activos por inferencia en comparación con MoE densos y dispersos convencionales. RELEVANCIA: Este enfoque permite crear modelos extremadamente grandes pero eficientes, optimizando la capacidad de razonamiento sin aumentar proporcionalmente el costo computacional.