KronQ: Cuantización de LLMs mediante Hessiana Factorizada de Kronecker | Técnica avanzada para comprimir modelos de lenguaje preservando la precisión | Optimización de memoria en LLMs usando información de segundo orden eficiente

Abstract

PROBLEMA: La cuantización de modelos de lenguaje grandes (LLMs) suele implicar un compromiso entre la pérdida de precisión y la eficiencia computacional, especialmente cuando se intenta aproximar la importancia de los pesos mediante la información de segundo orden (matriz Hessiana). SOLUCIÓN: El paper propone KronQ, un método de cuantización que utiliza una factorización de Kronecker para la matriz Hessiana. Esta técnica permite capturar las interacciones entre los parámetros de manera mucho más precisa que las aproximaciones diagonales convencionales sin incurrir en el costo prohibitivo de una Hessiana completa. METODOLOGÍA: Implementan un esquema de cuantización post-entrenamiento (PTQ) que optimiza los pesos basándose en la estructura de bloques de Kronecker, evaluando el desempeño en modelos de la familia Llama y Mistral. RESULTADOS: KronQ logra resultados superiores a GPTQ y otros métodos de cuantización de 4 bits, manteniendo una perplejidad casi idéntica al modelo original con una reducción drástica en el uso de memoria. RELEVANCIA: Esta técnica es clave para democratizar el uso de LLMs masivos en hardware de consumo y mejorar la latencia en servicios de inferencia a gran escala.