Lattice: un recuperador estático de 8 MB que incrusta Wikipedia en 7 minutos

Erik Kaunismäki ha desarrollado `lattice-retrieval`, un modelo de incrustación estático que incrusta los 6.4 millones de artículos de la Wikipedia inglesa en tan solo 7 minutos y 26 segundos en un MacBook Air M2. Este modelo, de tan solo 8 MB, supera a alternativas previas con una puntuación NDCG@10 de 0.4581 antes del ajuste fino y 0.4749 después. La clave de su eficiencia reside en una arquitectura simple y una cuantificación agresiva a int4-row con 512 dimensiones, manteniendo la calidad. El proyecto también destaca por un tiempo de ejecución optimizado en Rust que hace que la tokenización sea el principal cuello de botella.