Nemotron-Cascade 2: Post-entrenamiento de LLMs con RL en cascada | Optimización de modelos de lenguaje mediante destilación on-policy multidominio | Cómo mejorar el rendimiento de LLMs NVIDIA con aprendizaje por refuerzo avanzado

Abstract

PROBLEMA: Los métodos convencionales de alineación y post-entrenamiento a menudo fallan al equilibrar el rendimiento en dominios específicos con la generalización del modelo, o requieren procesos de computación prohibitivos. SOLUCIÓN: NVIDIA presenta Nemotron-Cascade 2, que utiliza Cascade Reinforcement Learning (RL) y una técnica de Multi-Domain On-Policy Distillation para mejorar la eficiencia y precisión del modelo final. METODOLOGÍA: El enfoque de Cascada permite refinar el modelo en etapas sucesivas, mientras que la destilación on-policy asegura que el conocimiento de un modelo experto se transfiera de forma efectiva bajo la propia distribución del modelo estudiante. RESULTADOS: Muestra mejoras significativas en benchmarks de razonamiento, programación y seguimiento de instrucciones en comparación con versiones anteriores y competidores de tamaño similar. RELEVANCIA: Es fundamental para investigadores que buscan optimizar modelos de lenguaje grandes mediante arquitecturas de entrenamiento más inteligentes y menos costosas.