Desbloqueando la asincronía en el batching continuo

Hugging Face explica cómo implementar batching asíncrono en el batching continuo para optimizar la inferencia de modelos de lenguaje grandes (LLM). La técnica separa las tareas de CPU y GPU mediante CUDA streams y eventos, permitiendo que la preparación del siguiente lote se realice en paralelo con la computación del actual en GPU. Esto elimina los tiempos de inactividad, logrando una mejora del 22% en la velocidad de generación para un modelo de 8B tokens. La implementación está integrada en la librería transformers y no requiere cambios en el modelo.