Desbloqueando la asincronicidad en el procesamiento por lotes continuo

Este artículo explica cómo la separación de las cargas de trabajo de CPU y GPU a través del procesamiento por lotes asíncrono puede mejorar significativamente el rendimiento de la inferencia de modelos de lenguaje grandes (LLM). Detalla la ineficiencia del procesamiento síncrono, donde la CPU y la GPU esperan turnos, y propone el uso de transmisiones y eventos CUDA para permitir la ejecución concurrente, reduciendo el tiempo de inactividad de la GPU en casi un 24%. La implementación de esta técnica, que incluye la gestión de slots de entrada/salida y el acarreo de tokens entre lotes, se traduce en una mejora del 22% en la velocidad de generación, asegurando que la GPU esté activa el 99,4% del tiempo.