Dualidad de Espacio de Estados y Caching O(1) para Inferencia Eficiente en Hardware Móvil

Abstract

Este paper técnico introduce avances significativos en la inferencia de modelos basados en Dualidad de Espacio de Estados (SSD), como Mamba-2. Los autores proponen un enfoque de 'compilador primero' para gestionar el almacenamiento en caché autorregresivo con una complejidad computacional O(1), eliminando los cuellos de botella tradicionales del KV-cache en arquitecturas Transformer. La técnica permite una portabilidad superior entre diferentes hardwares (GPUs y aceleradores especializados) al optimizar cómo se fusionan los kernels de computación durante la fase de inferencia. El estudio demuestra que es posible mantener una latencia casi constante independientemente de la longitud de la secuencia, lo que es vital para sistemas predictivos en tiempo real y agentes que operan en flujos de datos continuos. El aporte es altamente relevante para la eficiencia computacional en modelos de mundo que requieren procesamiento de secuencias extremadamente largas con recursos limitados.