La infraestructura de NVIDIA y Google reduce los costes de inferencia de IA

En la conferencia Google Cloud Next, Google y NVIDIA han presentado su hoja de ruta de hardware para reducir los costes de inferencia de IA a gran escala. Han introducido las instancias A5X bare-metal basadas en sistemas NVIDIA Vera Rubin NVL72, que ofrecen hasta diez veces menor coste por token y mayor rendimiento por megavatio. Estas soluciones abordan desafíos como el ancho de banda masivo, la escalabilidad hasta 960.000 GPUs y la gobernanza de datos soberanos. Además, facilitan el entrenamiento de IA agentic y simulaciones físicas para industrias como la manufactura. Esta colaboración optimiza el rendimiento, el coste y la sostenibilidad para cargas de trabajo avanzadas.