Nueva técnica hace que los modelos de IA sean más ligeros y rápidos mientras aún están aprendiendo

Investigadores del MIT CSAIL han desarrollado CompreSSM, una técnica que comprime modelos de inteligencia artificial durante el entrenamiento utilizando herramientas de la teoría de control para eliminar componentes innecesarios de forma temprana. Este método permite acelerar el entrenamiento hasta 4 veces y reducir el tamaño del modelo sin sacrificar el rendimiento, logrando precisiones comparables a modelos más grandes. Se aplica a modelos de espacio de estados, utilizados en procesamiento de lenguaje, generación de audio y robótica, ofreciendo una alternativa eficiente a técnicas tradicionales de poda o destilación. Los resultados destacan su superioridad en benchmarks como CIFAR-10 y Mamba.