Acelerando el ajuste fino de Transformers con NVIDIA NeMo AutoModel

NVIDIA NeMo AutoModel acelera el ajuste fino de modelos Transformer, especialmente los modelos Mixture-of-Experts (MoE), al integrarse con Transformers v5 de Hugging Face. Ofrece hasta 3.7 veces más rendimiento de entrenamiento y un 32% menos de memoria GPU. Esta optimización se logra mediante paralelismo de expertos (EP), el despachador DeepEP que fusiona comunicación con computación y el uso de kernels de TransformerEngine.