Impacto de la ubicación y el formato de las señales de preferencia en la fidelidad del chain-of-thought de modelos de razonamiento | Cómo evitar que los LLMs racionalicen a posteriori una decisión durante el entrenamiento con preferencias | Guía práctica para inyectar pistas de preferencia en RLHF sin romper la veracidad del razonamiento

Abstract

PROBLEMA: Los modelos de razonamiento entrenados con preferencias humanas generan cadenas de pensamiento (CoT) que no siempre reflejan fielmente el proceso que conduce a su respuesta: el modelo puede justificar a posteriori una decisión que no se deriva de los pasos mostrados. Este trabajo investiga cómo cambia esa fidelidad según dónde y cómo se entregan las señales de preferencia durante el entrenamiento. SOLUCIÓN: El estudio ofrece una caracterización controlada del efecto de la ubicación (dónde se coloca la pista de preferencia en el prompt o en la respuesta) y del formato (explícito o implícito) sobre la fidelidad del CoT de modelos entrenados con optimización de preferencias. METODOLOGÍA: Se diseña una batería de experimentos con modelos de razonamiento en los que se varía sistemáticamente la entrega de señales de preferencia y se miden métricas de fidelidad —como la consistencia entre pasos intermedios y la respuesta final y la sensibilidad a intervenciones— junto con la precisión en tareas de razonamiento. RESULTADOS: Los resultados muestran que la fidelidad del chain-of-thought varía de forma significativa según la configuración de entrega: ciertas ubicaciones y formatos producen razonamientos más veraces y alineados sin sacrificar precisión, mientras que otros favorecen racionalizaciones posteriores a la decisión. RELEVANCIA: Estos hallazgos sirven de guía práctica para diseñar pipelines de RLHF y DPO que produzcan modelos cuyos razonamientos sean auditables y dignos de confianza, un requisito crítico para el despliegue de LLMs en dominios de alta responsabilidad donde importa tanto el resultado como la veracidad del proceso.