Runtime Nativo Cuantizado para Generación de Audio Semántico en Dispositivos | Ejecución eficiente de modelos de audio en el borde | Optimización de inferencia de audio para dispositivos móviles y sistemas embebidos

Abstract

PROBLEMA: La generación de audio semántico (basado en tokens) es computacionalmente costosa, lo que dificulta su ejecución en dispositivos finales como teléfonos o sistemas embebidos sin depender de la nube, afectando la privacidad y la latencia. SOLUCIÓN: Los autores introducen un runtime nativo y optimizado específicamente para la generación de audio semántico en el dispositivo, centrándose en la cuantización de pesos y activaciones sin perder la fidelidad acústica. METODOLOGÍA: Utilizan técnicas de cuantización post-entrenamiento (PTQ) y núcleos C++ optimizados para arquitecturas ARM y x86, permitiendo la ejecución de modelos de audio tipo GPT. RESULTADOS: Reducción del tamaño del modelo en 4x y una aceleración de la inferencia de 3x en dispositivos móviles comerciales, manteniendo una calidad de audio indistinguible para el oído humano. RELEVANCIA: Abre la puerta a asistentes de voz más naturales, traductores en tiempo real y herramientas de creación musical que funcionan totalmente offline.