JetBrains lanza Mellum2: un modelo de mezcla de expertos de 12B

JetBrains ha lanzado Mellum2, un modelo de mezcla de expertos (MoE) de 12 mil millones de parámetros, entrenado desde cero en lenguaje natural y código. Este modelo activa solo 2.5 mil millones de parámetros por token, lo que lo hace muy eficiente para inferencias de baja latencia y alto rendimiento. Mellum2 está optimizado para diversas tareas de lenguaje natural y desarrollo de software, como enrutamiento, RAG, resumen, subagentes y despliegues privados, ofreciendo un rendimiento competitivo con una inferencia más de dos veces más rápida que modelos de tamaño similar. Se distribuye bajo la licencia Apache 2.0 y su objetivo es mejorar la eficiencia y control de los sistemas de IA.