Infraestructura de NVIDIA y Google reduce los costes de inferencia de IA

En la conferencia Google Cloud Next, Google y NVIDIA han presentado su hoja de ruta de hardware diseñada para reducir los costes de inferencia de IA a gran escala. Han detallado las nuevas instancias A5X bare-metal en sistemas NVIDIA Vera Rubin NVL72, que ofrecen hasta diez veces menor coste por token y mayor rendimiento por megavatio. Esta arquitectura aborda desafíos de ancho de banda con ConnectX-9 SuperNICs y tecnología Virgo de Google, escalando hasta 960.000 GPUs. Además, incluyen soluciones para gobernanza de datos soberanos con cómputo confidencial, entrenamiento de IA agentic y simulaciones físicas con Omniverse. Estas avances permiten a las empresas optimizar rendimiento, coste y sostenibilidad en workloads de IA.