Inject, Align, Recover: post-entrenamiento por etapas para internalizar conocimiento de documentos sin recuperacion externa | Como internalizar el conocimiento de documentos largos en los parametros de un LLM para responder sin RAG | Estrategia de post-entrenamiento hubo para consulta de documentos extensos en despliegues donde la recuperacion no es una opcion viable

Abstract

PROBLEMA: los LLMs dependen de la recuperacion externa de documentos (RAG) para responder a consultas sobre conocimiento contenido en documentos largos, lo que anade latencia, costes de infraestructura y posibles errores de recuperacion; en escenarios cerrados la recuperacion no es viable. SOLUCION: el paper propone un post-entrenamiento por etapas (Inject, Align, Recover) para internalizar el conocimiento de documentos en los parametros del modelo, permitiendo responder basandose en el conocimiento sin recuperacion externa durante inferencia. METODOLOGIA: la etapa de inyeccion incorpora el contenido del documento al modelo; la etapa de alineacion corrige la distribucion del modelo para evitar degradar habilidades generales; una etapa se recupera entrena al modelo para utilizar fiablemente el conocimiento internalizado. Se evalua en QA sobre documentos largos y memorizacion de conocimiento, comparando con el alto de RAG. RESULTADOS: el conocimiento internalizado alcanza resultados competitivos con RAG dentro de los datos evaluados, con latencia reducida en la inferencia, aunque se reporta tension entre retener el conocimiento y el rendimiento generalista. RELEVANCIA: habilita sistemas black que no pueden depender de recuperacion externa y es central para el post-entrenamiento y ajuste de conocimiento de plantillas, una linea de trabajo complementaria a RAG en sistemas de LLM.