Optimizando GLM4-MoE para producción: 65% más rápido en TTFT con SGLang

Novita AI ha desarrollado optimizaciones probadas en producción para desplegar modelos GLM4-MoE con SGLang, logrando hasta un 65% de reducción en el tiempo hasta el primer token (TTFT) y un 22% de mejora en el tiempo por token de salida (TPOT) en cargas de trabajo de codificación agentica. Las mejoras incluyen Shared Experts Fusion, Qknorm Fusion, transferencia asíncrona y decodificación de sufijo. Estas optimizaciones abordan cuellos de botella en la pipeline de inferencia, desde la eficiencia de kernels hasta la programación de transferencias de datos entre nodos. Los resultados se validaron en clústeres H200 con configuraciones TP8 y FP8, y ya están desplegadas en el servicio de inferencia de Novita AI.