Optimización eficiente de codebooks para cuantización extrema de LLMs | Cómo inicializar modelos comprimidos para mantener la precisión | Técnicas de compresión avanzada para modelos de lenguaje grande

Abstract

PROBLEMA: La cuantización extrema (por debajo de 2 bits por peso) suele causar una degradación masiva del rendimiento de los LLMs debido a que la optimización de los codebooks cae en mínimos locales deficientes. SOLUCIÓN: Los autores demuestran que la inicialización estratégica es el factor determinante para encontrar "cuencas" de optimización globales, permitiendo una compresión mucho más agresiva sin pérdida de capacidad. METODOLOGÍA: Analizan el panorama de pérdida durante el entrenamiento de codebooks y proponen un método de inicialización basado en la distribución de pesos originales. RESULTADOS: Logran niveles de precisión récord en modelos cuantizados a escalas extremadamente bajas, superando a métodos establecidos como GPTQ en configuraciones de baja tasa de bits. RELEVANCIA: Crucial para el despliegue de modelos masivos en dispositivos móviles y hardware con memoria limitada (Edge AI).