Optimización del valor de datos financieros mediante destilación y entrenamiento consciente de la dificultad

Abstract

Este estudio investiga cómo maximizar el valor de los datos en el dominio financiero, un área caracterizada por su alta densidad de información y terminología compleja. Los autores presentan una metodología de entrenamiento 'Difficulty-Aware' (consciente de la dificultad) combinada con destilación de conocimiento. El núcleo de la propuesta es un sistema de filtrado y ponderación que identifica los ejemplos de entrenamiento más valiosos y complejos, evitando el desperdicio de cómputo en datos triviales o redundantes. Los resultados muestran que modelos más pequeños entrenados bajo este régimen de 'dificultad progresiva' pueden superar a modelos significativamente más grandes en tareas críticas de razonamiento financiero, extracción de entidades y análisis de riesgo. Es una pieza clave para entender la transferencia de conocimiento especializada y la eficiencia en modelos de dominio específico.