Un adaptador, ambas modalidades: Notas de campo sobre la construcción y el servicio de un reranker multimodal

LightOn AI presenta LightOn-rerank, un modelo de 2B que rerankea pasajes de texto y páginas de documentos utilizando una configuración listwise. Este modelo alcanza un NDCG@10 de 62.66 en ViDoRe V3, superando a otros rerankers multimodales de 2B de código abierto. La clave de su rendimiento reside en la atención cruzada entre documentos, permitiendo que el modelo compare candidatos entre sí. Se encontró que los trucos de aceleración de rerankers de texto no se transfieren bien debido al alto coste del codificador ViT en la inferencia multimodal. La eficiencia se mejora reduciendo el número de candidatos a rerankear, manteniendo el 85% de la mejora al considerar solo el top-20.