ShortOPD: Recuperación de LLMs podados mediante destilación on-policy de corto a largo | Técnica para restaurar precisión en modelos comprimidos | Optimización de modelos de lenguaje pequeños usando destilación progresiva

Abstract

PROBLEMA: El podado (pruning) de LLMs para reducir su tamaño suele degradar drásticamente la coherencia en textos largos, ya que las métricas de recuperación estándar se centran en dependencias cortas. SOLUCIÓN: Proponen ShortOPD (Short-to-Long On-Policy Distillation), un marco que transiciona gradualmente la destilación desde secuencias cortas a secuencias de contexto largo. METODOLOGÍA: Utilizan un profesor LLM completo para generar distribuciones probabilísticas que el modelo podado intenta mimetizar mediante un proceso de aprendizaje on-policy adaptativo. RESULTADOS: Logran recuperar hasta el 95% de la capacidad de razonamiento original en modelos con un 30% de parámetros eliminados, superando los métodos tradicionales de destilación off-policy. RELEVANCIA: Crucial para el despliegue de modelos potentes en hardware limitado sin sacrificar la calidad en tareas de contexto extendido.