Nueva técnica hace que los modelos de IA sean más ligeros y rápidos mientras aún están aprendiendo

Investigadores del MIT CSAIL, junto con colaboradores de otros centros, han desarrollado CompreSSM, una técnica que comprime modelos de IA durante el entrenamiento utilizando herramientas de la teoría de control. Esta método identifica tempranamente los componentes innecesarios de los modelos de espacio de estados y los elimina, acelerando el proceso de entrenamiento hasta 4 veces sin perder rendimiento. CompreSSM supera a métodos tradicionales como la poda post-entrenamiento o la destilación de conocimiento, manteniendo la precisión en benchmarks como CIFAR-10 y Mamba. El enfoque aprovecha los valores singulares de Hankel para rankear la importancia de los estados internos. Esta innovación permite entrenar modelos más eficientes desde el inicio, reduciendo costes computacionales en aplicaciones como procesamiento de lenguaje, generación de audio y robótica.