Análisis condicional de la generalización en SFT para razonamiento | Por qué los LLMs no siempre aprenden a razonar durante el fine-tuning | Guía para optimizar el entrenamiento de capacidades lógicas en modelos de lenguaje

Abstract

PROBLEMA: A pesar del éxito de la técnica Supervised Fine-Tuning (SFT) para mejorar las capacidades de razonamiento en modelos grandes de lenguaje (LLMs), existe una falta de comprensión teórica y empírica sobre por qué y cuándo ocurre la generalización. A menudo, el aumento de datos no se traduce en una mejora proporcional de la capacidad lógica fuera de la distribución de entrenamiento. SOLUCIÓN: El paper propone un análisis condicional exhaustivo que desglosa la generalización en tres pilares: la dinámica de optimización, la calidad/cantidad de los datos y la capacidad intrínseca del modelo preentrenado. Introducen un marco para predecir el éxito de la transferencia de habilidades de razonamiento. METODOLOGÍA: Utilizan extensas pruebas de estrés en tareas de razonamiento matemático y simbólico, variando el tamaño del modelo y la pureza de los conjuntos de datos SFT mientras monitorean las trayectorias de los gradientes. RESULTADOS: Identifican que existe un umbral crítico de capacidad del modelo por debajo del cual el SFT solo produce memorización de patrones superficiales, mientras que la generalización genuina emerge solo tras alcanzar niveles específicos de "densidad semántica" en los pesos del modelo. RELEVANCIA: Proporciona una guía práctica para ingenieros de IA sobre cómo escalar sus procesos de fine-tuning priorizando la calidad sobre el volumen absoluto de datos.