Desbloqueando la asincronía en el procesamiento continuo de lotes

Este artículo explora la implementación del procesamiento asíncrono de lotes para optimizar la inferencia de modelos de lenguaje grandes (LLM), separando las cargas de trabajo de CPU y GPU. Se detalla cómo la asincronía, mediante el uso de streams y eventos CUDA, permite que la CPU prepare el siguiente lote mientras la GPU procesa el actual, eliminando tiempos de inactividad significativos. La técnica aborda desafíos como las condiciones de carrera y la transmisión de datos entre lotes, resultando en una mejora del 22% en la velocidad de generación sin cambios en el modelo o el kernel.