Reasoning Shift: Cómo el contexto excesivo acorta silenciosamente el razonamiento del LLM | Impacto de la longitud de la entrada en la calidad del pensamiento de cadena (CoT) | Degradación de la capacidad lógica en modelos de lenguaje con ventanas de contexto amplias

Abstract

PROBLEMA: Se ha observado que los modelos de lenguaje tienden a acortar o simplificar sus pasos de razonamiento (Chain-of-Thought) cuando se les presenta un contexto de entrada muy extenso, un fenómeno denominado 'Reasoning Shift'. SOLUCIÓN: El paper analiza empíricamente cómo el aumento del contexto de entrada reduce la densidad de razonamiento y la precisión lógica, incluso cuando la información relevante está presente. METODOLOGÍA: Se utilizaron diversos benchmarks de razonamiento complejo variando sistemáticamente el ruido de fondo y la longitud de los documentos de entrada para medir la longitud y calidad de la cadena de pensamientos. RESULTADOS: Existe una correlación negativa significativa entre la longitud del contexto y el número de pasos de razonamiento generados por el modelo, lo que conduce a una caída silenciosa en la precisión. RELEVANCIA: Este estudio es crucial para investigadores que diseñan sistemas RAG y agentes que operan sobre documentos largos, destacando la necesidad de técnicas para 'forzar' el mantenimiento de la profundidad lógica.