Granite 4.1 LLMs: Cómo se construyen

IBM ha presentado la familia Granite 4.1 de modelos de lenguaje grandes densos (3B, 8B y 30B parámetros), entrenados desde cero sobre aproximadamente 15 billones de tokens mediante una pipeline de pre-entrenamiento en cinco fases que incluye extensión de contexto hasta 512K tokens. Los modelos se refinan con fine-tuning supervisado en 4.1 millones de muestras de alta calidad curadas mediante un framework LLM-as-Judge y un pipeline multi-etapa de aprendizaje por refuerzo con GRPO y DAPO. El modelo instruct de 8B iguala o supera al anterior Granite 4.0-H-Small (32B MoE) en múltiples benchmarks pese a su arquitectura más simple y menor tamaño. Todos los modelos se liberan bajo licencia Apache 2.0 para uso empresarial, destacando en matemáticas, código, instrucciones y chat multilingüe. Esta liberación enfatiza la calidad de datos sobre cantidad, logrando rendimiento competitivo en modelos compactos.