Ant Group lanza LLaDA 2.0 de código abierto, el primer modelo de lenguaje de difusión de 100B parámetros en la industria

El instituto técnico de Ant Group ha publicado la serie LLaDA 2.0, el primer modelo de lenguaje de difusión discreto (dLLM) con 100 mil millones de parámetros. Esta serie incluye versiones de 16B (mini) y 100B (flash), superando las limitaciones de escalabilidad de los modelos de difusión y mejorando la calidad de generación y la velocidad de inferencia. Utiliza la estrategia de preentrenamiento Warmup-Stable-Decay (WSD) para heredar conocimiento de modelos autoregresivos sin costes elevados. Destaca por su velocidad de inferencia de 535 tokens/s, 2.1 veces más rápida que modelos AR equivalentes, gracias a técnicas como KV Cache y decodificación paralela por bloques. Sobresale en tareas de generación de código, planificación global y aplicaciones de agentes inteligentes. Este lanzamiento marca un hito en la adopción de modelos de difusión a gran escala en IA generativa.