Selección de documentos basada en rúbricas para sistemas de recuperación avanzada | Más allá de la relevancia simple en RAG mediante criterios estructurados | Cómo optimizar conjuntos de documentos recuperados para tareas complejas de IA

Abstract

PROBLEMA: Los sistemas actuales de recuperación (RAG) se centran casi exclusivamente en la relevancia semántica de documentos individuales, ignorando si el conjunto resultante cumple con criterios o rúbricas complejas necesarias para tareas específicas. SOLUCIÓN: El estudio propone un marco de selección y ranking de documentos orientado a rúbricas (Rubric-Oriented Document Set Selection), que evalúa la utilidad colectiva del conjunto de documentos recuperados. METODOLOGÍA: Utilizan un enfoque de optimización multi-objetivo que pondera tanto la relevancia individual como la cobertura de puntos clave definidos en una rúbrica de usuario, optimizando el subconjunto final de información para la generación. RESULTADOS: El método mejora significativamente la calidad de las respuestas en tareas de síntesis y auditoría, donde la completitud y el cumplimiento de criterios específicos son más importantes que la simple similitud léxica. RELEVANCIA: Vital para implementar sistemas RAG de nivel empresarial que deben adherirse a normativas, guías de estilo o procesos de auditoría rigurosos.