La escalabilidad de la IA agentiva requiere una nueva arquitectura de memoria

La IA agentiva marca una evolución de los chatbots sin estado hacia flujos de trabajo complejos, pero su escalado enfrenta cuellos de botella en la memoria debido al crecimiento del caché KV. NVIDIA introduce la plataforma Inference Context Memory Storage (ICMS) en su arquitectura Rubin, que añade un nuevo nivel de almacenamiento flash (G3.5) conectado por Ethernet para manejar eficientemente contextos largos. Esta solución, integrada con BlueField-4 y Spectrum-X, permite retener grandes volúmenes de memoria sin saturar la HBM de las GPU, multiplicando por cinco el rendimiento y la eficiencia energética. Proveedores como Dell, HPE e IBM ya desarrollan compatibilidad para su despliegue en la segunda mitad del año.