Cómo usar múltiples GPUs en Hugging Face Transformers: Device Map vs Paralelismo de Tensores

Aritra Roy Gosthipaty publica en el blog de Hugging Face un tutorial sobre el uso de múltiples GPUs con la librería Transformers. Compara dos métodos: 'device_map=auto', que reparte el modelo por memoria para inferencia simple sin aceleración real, y 'tp_plan=auto' con paralelismo tensorial para cómputo paralelo genuino y mayor velocidad. Se explica cómo restringir GPUs visibles con CUDA_VISIBLE_DEVICES y se proporcionan ejemplos de código. El artículo destaca pros y contras, recomendando device_map para inferencia básica de modelos grandes y tensor parallelism para rendimiento óptimo. Es relevante para desarrolladores que optimizan hardware multi-GPU en tareas de IA.