Jet-Long: Extensión Eficiente de Contexto Largo con RoPE Bifocal Dinámico | Cómo procesar textos extremadamente largos en LLM sin perder calidad local | Optimización de la ventana de contexto mediante embeddings rotatorios dinámicos

Abstract

PROBLEMA: La extensión de la ventana de contexto en modelos de lenguaje suele degradar la precisión en la recuperación de información local o disparar los costes computacionales. SOLUCIÓN: Se propone Jet-Long, una técnica que utiliza 'Dynamic Bifocal RoPE' (Rotary Positional Embeddings) para equilibrar la atención entre tokens cercanos y distantes sin reentrenamiento masivo. METODOLOGÍA: El método ajusta dinámicamente las frecuencias de los embeddings rotatorios según la distancia, permitiendo que el modelo mantenga una alta resolución para el contexto inmediato mientras captura dependencias de largo alcance. RESULTADOS: Jet-Long supera a métodos tradicionales de interpolación de RoPE en tareas de 'needle in a haystack' y comprensión de documentos de hasta 256k tokens con una pérdida de perplejidad mínima. RELEVANCIA: Crucial para aplicaciones de RAG que procesan libros completos, bases de datos legales o repositorios de código extensos.