Nuevo conjunto de datos imatrix: Optimizando la cuantificación de modelos de lenguaje

Bartowski presenta el nuevo conjunto de datos "imatrix", desarrollado en colaboración con Fable y con el soporte de LTT Labs, para optimizar la cuantificación de modelos de lenguaje mediante el cálculo de la importancia de los canales de activación. Aunque no es una "solución milagrosa", este nuevo corpus busca mejorar la eficiencia de modelos de baja precisión, especialmente en configuraciones Q2_K y modelos MoE, al incluir datos de conversación y plantillas de chat. Los resultados muestran mejoras en la divergencia KL y las probabilidades de tokens, destacando la importancia de la diversidad en los datos de calibración para la cobertura de expertos. El autor planea seguir iterando en este conjunto de datos.