Jet-Long: Extensión Eficiente de Contexto con RoPE Bifocal Dinámico | Cómo escalar la ventana de tokens en LLMs sin perder precisión local | Técnica avanzada de embeddings posicionales para textos extremadamente largos

Abstract

PROBLEMA: Extender la ventana de contexto de los modelos de lenguaje (LLMs) degrada el rendimiento en distancias cortas o requiere un reentrenamiento prohibitivamente costoso. SOLUCIÓN: El paper introduce 'Jet-Long' y la técnica de 'Dynamic Bifocal RoPE' (Rotary Positional Embeddings). Este método ajusta dinámicamente la frecuencia de las señales posicionales para mantener la precisión local mientras se habilita el procesamiento de secuencias extremadamente largas. METODOLOGÍA: Aplicaron esta técnica a modelos Llama-3, escalando su capacidad de contexto hasta 128k y 256k tokens con un mínimo impacto computacional y sin pérdida de rendimiento en benchmarks estándar de lenguaje. RESULTADOS: Jet-Long supera a métodos de interpolación lineal y YaRN en tareas de recuperación de 'aguja en un pajar' (needle-in-a-haystack), demostrando una estabilidad superior en la atención de largo alcance. RELEVANCIA: Vital para procesar documentos legales, bases de código completas o libros enteros en una sola pasada de inferencia.