Llamadas a herramientas multilingües en más de 70 idiomas, en dispositivo

Un equipo liderado por Bronson Bakunga ha desarrollado TinyFacade, un motor de inferencia y llamadas a herramientas que permite ejecutar modelos Tiny Aya en dispositivos Android de gama media sin conexión a internet. Evaluaron variantes de Tiny Aya en 53 idiomas del benchmark MASSIVE-Agents, destacando que TinyAya-Earth de 3.35B parámetros supera a modelos más grandes entrenados para tool calling en lenguas de bajos recursos como luganda y swahili, con tasas de éxito superiores al 80%. Sorprendentemente, la cuantización 4-bit mejora el rendimiento respecto a fp16, y se recomienda temperatura 0 para deployment. Proporcionan modelos GGUF corregidos, apps Android como Linga, y recursos en GitHub y Hugging Face para fomentar el desarrollo de aplicaciones multilingües on-device.