Mix-Quant: Prefilling cuantizado y decoding preciso para agentes de IA | Optimización de latencia en sistemas de agentes autónomos | Inferencia de alta velocidad para tareas de razonamiento iterativo

Abstract

PROBLEMA: Los agentes basados en LLMs sufren de alta latencia debido a los procesos repetitivos de prefilling (carga de contexto) y decoding necesarios para la toma de decisiones secuencial y el uso de herramientas. SOLUCIÓN: Presentan Mix-Quant, un sistema que utiliza prefilling cuantizado (baja precisión para procesar contexto rápido) combinado con un decoding preciso (alta precisión para generar acciones críticas). METODOLOGÍA: Implementan kernels de GPU personalizados que permiten alternar dinámicamente entre diferentes bits de cuantización según la fase de la generación del agente. RESULTADOS: Mix-Quant reduce la latencia de extremo a extremo en flujos de trabajo agénticos en un 40% sin comprometer la tasa de éxito de las tareas o la precisión en el uso de herramientas. RELEVANCIA: La velocidad es vital para la experiencia de usuario en agentes; este método permite respuestas casi instantáneas en sistemas complejos de planificación y ejecución.