Infraestructura de NVIDIA y Google reduce los costes de inferencia de IA

En la conferencia Google Cloud Next, Google y NVIDIA han detallado su hoja de ruta de hardware para abordar los costes de inferencia de IA a gran escala. Han presentado las nuevas instancias A5X bare-metal basadas en sistemas NVIDIA Vera Rubin NVL72, que logran hasta diez veces menor coste por token y mayor rendimiento por megavatio. Esta arquitectura resuelve desafíos de ancho de banda con ConnectX-9 SuperNICs y tecnología Virgo, escalando hasta 960.000 GPUs. Además, incluyen soluciones para gobernanza de datos soberanos, entrenamiento de IA agentic y simulaciones físicas en industrias como la manufactura.