POCKET: un modelo de 35 mil millones de parámetros que se ejecuta en tu iPhone — y en tu PC sin GPU

POCKET es una nueva familia de modelos de lenguaje, basados en Darwin-36B-Opus, que permite ejecutar modelos de 35 mil millones de parámetros en dispositivos como iPhones y PCs sin necesidad de una GPU dedicada. Estos modelos MoE (Mixture-of-Experts) cuantificados están optimizados para dispositivos, ofreciendo un rendimiento hasta 2.7 veces más rápido en CPU y 2.2 veces más rápido en GPU que modelos líderes de 1 bit, manteniendo una alta calidad. La clave es una arquitectura dispersa que activa solo una fracción de los parámetros por token y técnicas de poda y cuantificación específicas para cada idioma. Así se consigue que el modelo se ejecute con el software llama.cpp sin modificaciones en herramientas ya existentes.