Presentamos Mellum2: un modelo de mezcla de expertos (MoE) de 12B por JetBrains

JetBrains lanza Mellum2, un modelo abierto de mezcla de expertos (MoE) de 12.000 millones de parámetros, entrenado desde cero en lenguaje natural y código. Este modelo activa solo 2.500 millones de parámetros por token, lo que permite una inferencia eficiente de alta velocidad y baja latencia. Mellum2 está diseñado para optimizar tareas como el enrutamiento, RAG, resumen, sub-agentes y funciones de codificación de alto rendimiento, y se distribuye bajo la licencia Apache 2.0. Supera en rendimiento a modelos de tamaño similar, ofreciendo una inferencia más de dos veces más rápida.