POCKET: un modelo de 35 mil millones de parámetros que funciona en tu iPhone y en tu PC sin GPU

POCKET es una nueva familia de modelos de lenguaje en el dispositivo, cuantificados a partir de Darwin-36B-Opus de VIDRAFT. Este modelo sparse Mixture-of-Experts (MoE) de 34.66 mil millones de parámetros solo activa aproximadamente 3 mil millones de parámetros por token, permitiendo un rendimiento eficiente incluso en dispositivos con recursos limitados como iPhones o PCs sin GPU. Ofrece una calidad superior y mayor velocidad en comparación con otras soluciones de modelos ligeros, todo ello mediante el uso de llama.cpp sin modificaciones. POCKET está disponible en varias versiones optimizadas para diferentes dispositivos y usos, incluyendo variantes específicas para idiomas como el coreano y el inglés.