Generación sintética de preguntas y respuestas para el preentrenamiento de Nemotron con siembra de tareas

NVIDIA presenta una nueva metodología para la generación sintética de datos Q&A con siembra de tareas para el preentrenamiento de sus modelos Nemotron. Este enfoque, que utiliza conjuntos de datos de tareas públicas como semillas, genera ejemplos estructurados enfocados en necesidades de información y añade razonamiento y contexto. En un experimento de continuación con 100 mil millones de tokens en el modelo Nemotron-3 Nano, las P&A sintéticas mejoraron significativamente métricas como MMLU-Pro, código y comprensión de sentido común. El objetivo es proporcionar señales de aprendizaje estructuradas, complementando los datos generales con ejemplos compactos y relevantes para tareas específicas.