El Falcon H1R 7B del TII supera en razonamiento a modelos hasta 7 veces más grandes y es (en su mayoría) abierto

El Technology Innovation Institute (TII) de Abu Dhabi ha lanzado Falcon H1R 7B, un modelo de lenguaje de 7 mil millones de parámetros con arquitectura híbrida Transformer-Mamba que supera en benchmarks de razonamiento, matemáticas y codificación a modelos mucho más grandes como Qwen o Nemotron. Destaca con un 83,1% en AIME 2025, procesando secuencias largas de forma eficiente y reduciendo costes computacionales. El modelo está disponible en Hugging Face bajo una licencia abierta con requisitos de atribución y uso aceptable. Esta innovación desafía la lógica de escalado por fuerza bruta en IA generativa, promoviendo eficiencia arquitectónica y escalado en tiempo de inferencia. TII utilizó entrenamiento en dos etapas: SFT con ponderación por dificultad y RL con GRPO enfocado en matemáticas para maximizar el razonamiento.