Qwen3.5: Nadie coincide ya en el mecanismo de atención

El equipo de Qwen de Alibaba ha lanzado Qwen3.5-397B-A17B, un modelo de fundación de próxima generación con 397 mil millones de parámetros en arquitectura Mixture-of-Experts y solo 17 mil millones activos por token. Destaca por su arquitectura de atención híbrida que combina Gated Delta Networks con atención completa en una proporción 3:1, mejorando la eficiencia en contextos largos. Es multimodal nativo desde el inicio, soporta 201 idiomas y ha sido entrenado con RL escalable para tareas agenticas. En benchmarks, sobresale en seguimiento de instrucciones, visión y agentes, aunque no lidera en todas las categorías. Representa la tendencia actual hacia mecanismos de atención eficientes y sparsidad en modelos chinos recientes, posicionándose como un modelo bien equilibrado.