Mismo clúster, 33 puntos más de utilización: lo que cambió fue el orden

En un clúster de GPU idéntico y con las mismas cargas de trabajo, un asignador de GPU consciente de las restricciones superó a un programador FIFO, aumentando la utilización de la GPU hasta en 33 puntos porcentuales y la producción ponderada por prioridad hasta en un 105%. Este avance no se logró mediante cambios de hardware, sino optimizando el orden en que se toman las decisiones de asignación. El artículo explora los problemas del enfoque FIFO, especialmente en escenarios de contención y la gestión de la inferencia en tiempo real, y presenta una solución que optimiza la asignación de recursos a lo largo de un horizonte de 24 horas, reevaluando cada hora para ajustarse a los cambios y las predicciones de demanda.