Desbloqueando la asincronía en el procesamiento por lotes continuo

Este artículo explora cómo mejorar la eficiencia de la inferencia de modelos de lenguaje grandes (LLM) al separar las cargas de trabajo de la CPU y la GPU. Se aborda la ineficiencia del procesamiento por lotes sincrónico, donde la CPU y la GPU se alternan, y se propone el procesamiento por lotes asincrónico utilizando flujos y eventos CUDA para permitir la ejecución paralela. Se explica cómo evitar la corrupción de datos mediante el uso de slots de memoria y cómo manejar la transferencia de tokens entre lotes. La implementación en la biblioteca Transformers demuestra una mejora significativa del 22% en la velocidad de generación al mantener la GPU ocupada el 99,4% del tiempo.