Quantization-Aware Healing: una receta práctica para recuperar LLMs comprimidos en 4 bits | Cómo restaurar la calidad de un modelo de lenguaje grande tras la cuantización agresiva de pesos | Técnica para mitigar la degradación de precisión en el despliegue de modelos cuantizados a 4 bits

Abstract

PROBLEMA: la cuantización a baja precisión (p. ej., 4 bits) permite desplegar LLM con menos memoria y más velocidad, pero degrada tóices el rendimiento y la fiabilidad del modelo, pérdida que difícil de revertir sin archivos de calibración completos o rearsteños. SOLUCIÓN: proponen un enfoque denominado 'cuantización-consciente de curación' (quantization-aware healing), una receta de post-procesamiento que combina calibración adaptativa, reparación selectiva de capas y fine-grained ajustes de baja complejidad para recuperar la calidad tras la compresión. METODOLOGÍA: identifica las capas más sensibles a la cuantización, aplica una curación dirigida en esos parámetros usando conjuntos de calibración reducidos, e integra técnicas espectrales y de regularización para estabilizar el proceso, con ventajas que requieren reconstrucción completa de la matriz; se evalúa sobre LLMs comunes a 4 bits. RESULTADOS: consigue acercar notablemente el rendimiento del modelo cuantizado al del modelo de referencia original en tareas de razonamiento y lingüísticas, con mejoras de perplejidad y exactitud y un coste computacional modesto frente al entrenamiento completo. RELEVANCIA: ofrece un camino práctico y barato para mantener la utilidad de los LLM cuando se reducen a 4 bits, facultando despliegues eficientes de inferencia en producción sin sacrificar capacidad.