Análisis de la degradación del razonamiento por autodestilación en LLMs | Por qué los modelos pierden lógica al entrenarse con sus propias salidas | Impacto negativo de la destilación recursiva en la IA cognitiva

Abstract

PROBLEMA: Se ha observado que, en ciertos escenarios, el proceso de autodestilación (usar la salida de un modelo para entrenarse a sí mismo) degrada las capacidades de razonamiento lógico del LLM en lugar de mejorarlas. SOLUCIÓN: Este estudio analiza los mecanismos internos donde las desviaciones sutiles en la cadena de pensamiento (CoT) se amplifican negativamente durante el proceso de ajuste fino. METODOLOGÍA: Se compararon múltiples variantes de modelos bajo regímenes de destilación recursiva y controlada, evaluando métricas de fidelidad lógica y diversidad de respuestas. RESULTADOS: Los resultados identifican que el colapso de la diversidad y el sesgo hacia respuestas cortas sin verificación intermedia son los principales culpables de la degradación. RELEVANCIA: Crucial para investigadores que buscan optimizar modelos pequeños sin comprometer la inteligencia estructural de los modelos base.