Ejecutar modelos de IA se está convirtiendo en un juego de memoria

Aunque el foco en los costes de la infraestructura de IA suele recaer en Nvidia y las GPUs, la memoria se está volviendo cada vez más importante. Los precios de los chips DRAM han aumentado aproximadamente siete veces en el último año mientras los hyperscalers preparan datacentros por miles de millones. Existe una creciente disciplina en la orquestación de la memoria para asegurar que los datos correctos lleguen al agente adecuado en el momento preciso, lo que permite realizar consultas con menos tokens y reduce costes. El artículo destaca la complejidad del caché de prompts de Anthropic y menciona startups como Tensormesh que optimizan el caché. Las empresas que dominen la gestión de memoria en modelos de IA destacarán en el futuro.