ReRound: redondeo reconstructivo para resolver la ambigüedad de punto medio en la cuantización de LLMs sin calibración | Cómo cuantizar modelos de lenguaje grandes sin datos de calibración manteniendo calidad | Técnica de compresión para desplegar transformers de forma eficiente en producción

Abstract

PROBLEMA: la cuantización de LLMs sin datos de calibración introduce ambigüedad en el redondeo cuando el valor cae justo en el punto medio del intervalo, degradando la calidad del modelo comprimido. SOLUCIÓN: ReRound propone un esquema de redondeo reconstructivo que resuelve la ambigüedad del punto medio, eligiendo los valores cuantizados de forma que se minimice el error de reconstrucción de las activaciones y pesos. METODOLOGÍA: emplea un procedimiento de redondeo guiado por reconstrucción que actúa localmente sobre los tensores, sin requerir conjuntos de calibración, y se integra de forma plug-and-play en pipelines de cuantización existentes. RESULTADOS: reduce el error de cuantización en comparación con el redondeo al punto más cercano, mejorando perplejidad y calidad de generación a bajas precisiones. RELEVANCIA: permite desplegar LLMs de manera eficiente en cuanto a memoria y cómputo en producción, sin sacrificar la fidelidad del modelo.