StateSMix: Compresión en línea sin pérdida mediante Mamba y Mezcla de N-gramas | Uso de Modelos de Espacio de Estados para compresión de datos eficiente | Innovación en eficiencia de memoria y contexto usando SSM y n-gramas dispersos

Abstract

PROBLEMA: La compresión de datos en línea requiere un equilibrio difícil de alcanzar entre la velocidad de procesamiento, el uso de memoria (contexto) y la tasa de compresión final. SOLUCIÓN: Se propone StateSMix, una arquitectura que combina Modelos de Espacio de Estados (Mamba) con una mezcla de contexto basada en n-gramas dispersos para lograr una compresión sin pérdida altamente eficiente. METODOLOGÍA: El modelo utiliza la eficiencia lineal de Mamba para manejar largas secuencias de datos mientras que el componente de n-gramas captura patrones locales frecuentes de manera liviana. RESULTADOS: StateSMix supera a los métodos tradicionales de compresión de texto y a los modelos basados estrictamente en Transformers en términos de latencia y ratio de bits por carácter. RELEVANCIA: Vital para el despliegue de sistemas de IA en el borde (edge) y para mejorar el rendimiento de almacenamiento y transmisión en arquitecturas RAG que manejan volúmenes masivos de datos.