Quantization-Aware Healing: un modelo comprimido de 4 bits que supera a su original de precisión completa

Multiverse Computing introduce Quantization-Aware Healing (QAH), una nueva técnica para recuperar modelos de lenguaje grandes comprimidos y quantizados. Al aplicar QAH a un modelo GPT-OSS 120B reducido a 60B parámetros y quantizado a MXFP4 de 4 bits, el resultado supera en 7 de 9 benchmarks al checkpoint bfloat16 de la arquitectura original. La clave es distilar directamente del modelo pre-compresión completo como profesor, en lugar del checkpoint recuperado. Esta técnica alcanza su mejor punto 7 veces más rápido que los métodos tradicionales y mantiene la estabilidad del rendimiento, evitando la degradación típica del entrenamiento con QAT. El modelo 4-bit resultante es más pequeño, más barato de ejecutar y más preciso que su versión de 16 bits.