No todo desacuerdo es aprendible: Enseñabilidad de tokens en destilación | Identificación de ruido y ambigüedad en procesos de entrenamiento de IA | Mejora de la eficiencia en el aprendizaje por transferencia mediante filtrado semántico

Abstract

PROBLEMA: No todos los desacuerdos entre un modelo experto y un estudiante son útiles; algunos se deben a ruido de datos o ambigüedad intrínseca, lo que confunde el proceso de entrenamiento. SOLUCIÓN: Este paper introduce la métrica de 'Enseñabilidad del Token' para identificar qué discrepancias son valiosas para el aprendizaje y cuáles deben ignorarse. METODOLOGÍA: Analizan las distribuciones de probabilidad de salida y categorizan los desacuerdos mediante un clasificador de complejidad semántica durante la destilación on-policy. RESULTADOS: Al filtrar tokens 'no enseñables', el entrenamiento converge un 25% más rápido y mejora la precisión final en benchmarks de sentido común. RELEVANCIA: Proporciona una base sólida para mejorar el entrenamiento de modelos agénticos y reduce el impacto de las alucinaciones por sobreajuste a ruido.