Inferencia hasta 3,2 veces más rápida con LFM2.5-DSpark

Liquid AI presenta los puntos de control del modelo de borrador DSpark para tres modelos de su familia LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B y LFM2.5-8B-A1B. Esta mejora permite una inferencia hasta 3.18 veces más rápida en GPU y hasta 2.87 veces más rápida en dispositivos, sin comprometer la calidad de la salida. La tecnología DSpark optimiza la fase de decodificación en la inferencia de LLM utilizando un modelo de borrador ligero y decodificación especulativa para verificar tokens en un solo paso hacia adelante. Se ofrece soporte para llama.cpp y SGLang.