Lattice: un recuperador estático de 8 MB que incrusta Wikipedia en 7 minutos

Erik Kaunismäki presenta Lattice, un modelo de incrustación estática de 8 MB capaz de incrustar toda la Wikipedia en inglés (6,4 millones de artículos) en 7 minutos y 26 segundos. Este modelo, entrenado con 660 millones de pares de consulta/documento, supera a modelos de referencia similares y ofrece una cuantización eficiente (int4-row a 512 dimensiones) con mínima pérdida de calidad. El autor explora cómo la simplicidad de su arquitectura facilita la cuantización y la inferencia rápida en CPUs de consumo, con la tokenización como el principal cuello de botella. Lattice no reemplaza a los recuperadores basados en transformadores, pero es ideal para la minería de datos a gran escala y la clusterización en dispositivos con recursos limitados.