La infraestructura de NVIDIA y Google reduce los costes de inferencia de IA

En la conferencia Google Cloud Next, Google y NVIDIA han presentado su hoja de ruta de hardware para reducir los costes de inferencia de IA a gran escala. Han introducido las instancias A5X bare-metal basadas en sistemas NVIDIA Vera Rubin NVL72, que ofrecen hasta diez veces menor coste por token y mayor rendimiento por megavatio. Estas soluciones abordan desafíos como el ancho de banda, la escalabilidad hasta 960.000 GPUs, la soberanía de datos con cómputo confidencial y el entrenamiento de IA agentica y física. Empresas como CrowdStrike y Schrödinger ya utilizan esta infraestructura para acelerar sus workloads. Esta colaboración optimiza el rendimiento, el coste y la sostenibilidad en aplicaciones de IA avanzadas.