Hugging Face en AMD Instinct MI455X: primeros resultados de Transformers

Hugging Face ha probado la nueva GPU AMD Instinct MI455X, destacando su impresionante capacidad de 432 GB de memoria HBM4. Las pruebas iniciales con la librería Transformers muestran que la MI455X puede manejar más del triple de solicitudes concurrentes que la MI300 gracias a su mayor caché KV. La tasa de éxito en las pruebas de las 24 arquitecturas de modelos clave de Transformers es del 99,5%, comparable a la de otras plataformas. El trabajo conjunto con AMD ha permitido optimizar Flash Attention y añadir soporte para torchcodec.