Selección y Ranking de Documentos Orientados a Rúbricas: Más allá de la relevancia | Cómo mejorar la selección de contexto en RAG usando criterios de calidad complejos | Sistemas de recuperación que entienden guías de evaluación detalladas

Abstract

PROBLEMA: Los sistemas de recuperación actuales se centran casi exclusivamente en la 'relevancia' semántica entre la consulta y el documento, ignorando a menudo criterios complejos o matices específicos (rúbricas) que el usuario necesita para una tarea concreta. SOLUCIÓN: El trabajo presenta un nuevo paradigma de selección y ranking orientado a rúbricas, donde el sistema evalúa conjuntos de documentos no solo por su similitud, sino por su cumplimiento de criterios multidimensionales definidos. METODOLOGÍA: El equipo de Tencent desarrolló un framework de ranking que utiliza un modelo de lenguaje para interpretar rúbricas de usuario y aplicarlas sistemáticamente sobre candidatos recuperados previamente, optimizando el conjunto final para la coherencia y cobertura de la instrucción. RESULTADOS: El método mejora drásticamente la utilidad de los documentos seleccionados en tareas de razonamiento complejo y cumplimiento de directrices legales o técnicas en sistemas RAG. RELEVANCIA: Es un avance vital para aplicaciones de IA que requieren un control estricto sobre la calidad y el tipo de información que alimenta el contexto del modelo.