Entrenamiento en tiempo de prueba autoguiado para LLMs de contexto largo | Cómo optimizar la atención de modelos de lenguaje durante la inferencia en documentos extensos | Mejora de recuperación de información en contextos largos mediante adaptación dinámica

Abstract

PROBLEMA: A pesar de las capacidades teóricas de los modelos de contexto largo, estos suelen sufrir del fenómeno 'lost-in-the-middle' o fallos de recuperación cuando la información relevante está dispersa en miles de tokens. SOLUCIÓN: Los investigadores introducen un método de 'Self-Guided Test-Time Training' (SGT3). Esta técnica permite al modelo adaptar sus pesos dinámicamente durante la fase de inferencia (test-time) utilizando señales de autoguiado para enfocarse en las partes críticas del contexto extenso. METODOLOGÍA: El sistema genera tareas auxiliares de auto-predicción sobre el contexto de entrada para 'calibrar' la atención del modelo antes de responder a la consulta del usuario. RESULTADOS: El método mejora significativamente el rendimiento en benchmarks de contexto largo como Needle In A Haystack, logrando una precisión superior en la recuperación de información específica sin necesidad de un ajuste fino supervisado previo. RELEVANCIA: Es una innovación fundamental para sistemas RAG y análisis de documentos legales o científicos donde el contexto completo debe ser procesado sin errores de omisión.