Kog Laneformer 2B: El modelo de baja latencia detrás del motor de inferencia Kog

Kog lanza Laneformer 2B, un modelo de codificación ajustado por instrucciones con 2.300 millones de parámetros, diseñado para una decodificación de alta velocidad. A diferencia de la mayoría de las investigaciones, Kog priorizó la velocidad desde el inicio del diseño del modelo, buscando maximizar la rapidez de decodificación. Este enfoque les permitió construir un modelo capaz, optimizado para su motor de inferencia, incluso con recursos limitados. Laneformer 2B alcanza un rendimiento del 45,1% en HumanEval+ y 51,6% en MBPP+ en decodificación codiciosa, y se libera junto a su implementación en Hugging Face.