Formalización de pensamientos latentes: Cuatro axiomas para la representación del pensamiento en LLMs | Bases teóricas del razonamiento interno en modelos de lenguaje | Cómo medir y entender el proceso de pensamiento oculto en IA tipo GPT

Abstract

PROBLEMA: El proceso de "razonamiento" en los LLMs ocurre en un espacio latente oscuro, sin una base teórica clara que explique cómo se estructuran estos pensamientos internos antes de la decodificación. SOLUCIÓN: El paper introduce cuatro axiomas fundamentales (Consistencia, Componibilidad, Invarianza y Jerarquía) para definir y evaluar las representaciones de pensamientos latentes. METODOLOGÍA: Los autores emplean técnicas de "probing" geométrico y álgebra lineal para identificar vectores de pensamiento que cumplen con estos axiomas en modelos Llama y Mistral. RESULTADOS: Demuestran que las representaciones que mejor se adhieren a estos axiomas correlacionan directamente con una mayor precisión en tareas de razonamiento lógico complejo. RELEVANCIA: Proporciona una hoja de ruta para el desarrollo de sistemas RAG que puedan "leer" o influir en el proceso de pensamiento intermedio del modelo para reducir alucinaciones.