La infraestructura de NVIDIA y Google reduce los costes de inferencia de IA

En la conferencia Google Cloud Next, Google y NVIDIA han detallado su hoja de ruta de hardware para abordar los costes de inferencia de IA a gran escala. Han presentado las nuevas instancias A5X bare-metal en sistemas NVIDIA Vera Rubin NVL72, que logran hasta diez veces menor coste por token y mayor rendimiento por megavatio. Se abordan retos como la soberanía de datos mediante cómputo confidencial en Google Distributed Cloud y VMs G4. Además, facilitan el entrenamiento de sistemas IA agentivos con plataformas como Gemini Enterprise Agent y NeMo RL. Estas soluciones optimizan infraestructuras para IA física, robótica y simulaciones industriales, beneficiando a empresas como OpenAI y Schrödinger.