mDenseOn y mLateOn: Modelos de recuperación multilingües, de contexto largo y de código abiertos

LightOn AI ha lanzado mDenseOn y mLateOn, dos nuevos modelos de recuperación de 307 millones de parámetros, multilingües y de código abierto. Estos modelos están entrenados con un corpus de 2.8B de pares, uno de los conjuntos de datos de entrenamiento multilingües más grandes hasta la fecha. mLateOn destaca por sus excelentes resultados en BEIR, MIRACL en idiomas objetivo y MLDR, mostrando una capacidad superior para generalizar a idiomas no vistos durante el entrenamiento de recuperación, incluso con diferentes escrituras como cirílico, japonés o tailandés. La clave de su rendimiento reside en la interacción tardía, que permite una mejor transferencia de conocimiento entre idiomas. La compañía libera todos los modelos, métodos de entrenamiento y datos utilizados.