La doble naturaleza de la generalización en la destilación on-policy de modelos de lenguaje | Cómo la destilación con políticas propias equilibra exactitud y alucinación en LLMs | Método para entrenar modelos pequeños a partir de la salida del profesor sin perder generalización

Abstract

PROBLEMA: La destilación on-policy de LLMs presenta una paradoja: puede mejorar la fidelidad a la distribución del modelo profesor pero a la vez afectar la generalización del estudiante, generando compensaciones entre exactitud y capacidad de transferencia a datos fuera del dominio. SOLUCIÓN: El artículo estudia y caracteriza esta naturaleza dual de la generalización en destilación on-policy, analizando cuándo la supervisión del profesor mejora la adquisición de patrones concretos y cuándo introduce sesgos que perjudican el aprendizaje genérico. METODOLOGÍA: Se analizan formalmente las trayectorias de entrenamiento del profesor y su influencia en el estudiante, comparando empíricamente la destilación --policy frente a alternativas -- respecto a la generalización dentro y fuera de distribución, en diversas tareas de lenguaje. RESULT: Se evidencia que la training sobre entradas generadas por el propio modelo mejora la consistencia con el profesor pero puede reducirla flexibilidad para dominios fuera de la distribución, exponiendo un equilibrio crítico que depende del régimen de muestreo y del objetivo de optimización. RELEVANCIA: Aporta criterios para obtener modelos pequeños destilados de gran utilidad en despliegue y sistemas de lenguaje, y orienta cuándo conviene entrenar on-policy frente a métodos estáticos.