Desafíos en el Control de la Cadena de Pensamiento en Modelos de Razonamiento Prototípicos

Abstract

Este estudio de OpenAI analiza una vulnerabilidad crítica en los modelos de razonamiento modernos: la dificultad de los modelos para controlar voluntariamente sus propias cadenas de pensamiento (CoT). A medida que los modelos se vuelven más profundos, tienden a generar razonamientos redundantes o a quedar atrapados en bucles lógicos de los que no pueden salir a pesar de identificar el error. El paper explora técnicas para mejorar la 'metacognición' del modelo, permitiendo que el sistema aborte o redirija su proceso de pensamiento de manera más eficiente. Los hallazgos sugieren que el control externo o el entrenamiento específico en 'puntos de parada' es necesario para evitar el desperdicio de tokens de inferencia y mejorar la precisión en problemas de lógica multietapa. Es una lectura esencial para entender las limitaciones actuales de modelos tipo o1/o3.