DeepSeek soluciona el problema que rompe los entrenamientos de IA de 100 millones de dólares

DeepSeek ha lanzado mHC (Manifold-Constrained Hyper-Connections), una innovación que resuelve problemas de estabilidad en la arquitectura Transformer durante el entrenamiento de modelos grandes de IA. Esta solución evita que las señales en las conexiones hiperactivas exploten o se desvanezcan, permitiendo entrenamientos más estables y eficientes. Los experimentos muestran mejoras del 7,2% en razonamiento complejo y del 6,9% en comprensión lectora, con solo un 6,7% más de tiempo de entrenamiento. Esta avance es crucial porque los fallos en entrenamientos cuestan millones y meses de trabajo. El fundador de DeepSeek publicó el paper personalmente, sugiriendo un próximo modelo insignia.