Cumplimiento vs. Sensatez: Controlabilidad del Razonamiento en LLMs | Análisis de la lógica interna de los modelos frente a las instrucciones | Por qué los modelos de lenguaje fallan al razonar bajo restricciones de formato

Abstract

PROBLEMA: Existe una tensión inherente en los LLMs entre cumplir con el formato de instrucción (Compliance) y mantener la lógica interna del razonamiento (Sensibility) cuando se les fuerza a razonar. SOLUCIÓN: El estudio analiza la 'controlabilidad del razonamiento', proponiendo métricas para cuantificar cuándo un modelo prioriza seguir órdenes sobre la veracidad factual o lógica. METODOLOGÍA: Realizan experimentos utilizando intervenciones en la cadena de pensamiento (CoT) para inducir errores y observar cómo el modelo gestiona la contradicción entre la instrucción y el sentido común. RESULTADOS: Identifican que los modelos más grandes tienden a ser más 'sensatos' pero pueden volverse excesivamente serviles, comprometiendo la calidad del razonamiento bajo presión de formato. RELEVANCIA: Vital para diseñadores de prompts y sistemas RAG que dependen de la fiabilidad del razonamiento del modelo para decisiones críticas.