La escalabilidad de la IA agentiva requiere una nueva arquitectura de memoria

La IA agentiva marca una evolución de los chatbots sin estado hacia flujos de trabajo complejos, pero su escalado enfrenta cuellos de botella en la memoria debido al crecimiento de la caché KV. NVIDIA introduce la plataforma Inference Context Memory Storage (ICMS) en su arquitectura Rubin, un nuevo nivel de almacenamiento flash conectado por Ethernet para manejar contextos masivos de forma eficiente. Esta solución utiliza BlueField-4 para offload y ofrece hasta 5 veces más rendimiento en tokens por segundo y mejor eficiencia energética. Varios proveedores como Dell, HPE e IBM ya desarrollan plataformas compatibles. Esto redefine la infraestructura para IA agentiva, reduciendo costes y permitiendo razonamiento a gran escala.