Google tiene un nuevo método para que la IA consuma mucha menos memoria. Malísimas noticias para Micron y SK Hynix

Google Research ha publicado un estudio sobre TurboQuant, un algoritmo que comprime la KV cache de los modelos de IA hasta seis veces sin pérdida apreciable de rendimiento durante la fase de inferencia. Esta técnica alivia la crisis de memoria RAM provocada por la alta demanda de la IA en centros de datos. Fabricantes como Micron, Samsung y SK Hynix han visto caer sus acciones en bolsa hasta un 24% ante el temor a una menor demanda. Aunque no afecta al entrenamiento de modelos, podría reducir significativamente los costos operativos de las grandes tecnológicas. Los precios de algunos módulos de RAM ya comienzan a bajar.