Presentamos Storage Buckets en Hugging Face Hub

Hugging Face ha presentado Storage Buckets, un nuevo servicio de almacenamiento de objetos mutable similar a S3, diseñado para gestionar los archivos intermedios generados durante el desarrollo de ML. Esta solución, construida sobre Xet, optimiza el almacenamiento y las transferencias gracias a la deduplicación basada en fragmentos, lo que la hace especialmente eficiente para artefactos de ML relacionados. Además, los Buckets ofrecen funcionalidad de "pre-warming" para acercar los datos a la computación en la nube para flujos de trabajo distribuidos. Se integra con la CLI de `hf`, la biblioteca `huggingface_hub` de Python y `HfFileSystem`, facilitando así la gestión programática y la compatibilidad con bibliotecas de datos existentes.