SLAI T-Rex: Post-entrenamiento de parámetros completos de DeepSeek-V4 en Ascend SuperPOD | Optimizando modelos DeepSeek para hardware Ascend | Cómo ajustar modelos de lenguaje grandes en clústeres Huawei Ascend de alto rendimiento

Abstract

PROBLEMA: El entrenamiento y post-entrenamiento de modelos de escala masiva como la familia DeepSeek-V4 a menudo están optimizados para ecosistemas NVIDIA, lo que dificulta su adopción eficiente en infraestructuras alternativas de alto rendimiento como Ascend SuperPOD. SOLUCIÓN: El equipo presenta SLAI T-Rex, un framework de post-entrenamiento de parámetros completos diseñado específicamente para maximizar el rendimiento en chips Ascend. La solución aborda cuellos de botella en la comunicación entre nodos y la gestión de memoria durante el ajuste fino. METODOLOGÍA: Utilizaron técnicas de paralelismo de datos y tensores adaptadas a la arquitectura de interconexión de Ascend, realizando pruebas con la familia completa de modelos DeepSeek-V4 en un entorno de SuperPOD a gran escala. RESULTADOS: Se demostró una eficiencia de entrenamiento comparable a los sistemas líderes tradicionales, manteniendo la integridad del razonamiento del modelo original y permitiendo una especialización granular mediante el acceso a todos los parámetros. RELEVANCIA: Es fundamental para la soberanía tecnológica y para expandir la disponibilidad de LLMs de vanguardia en diversas arquitecturas de hardware de grado empresarial.