O Ascend 910C da Huawei conclui o pós-treino do modelo de 1,6 biliões de parâmetros da DeepSeek com 1.000+ GPUs

De acordo com Beating, uma equipa conjunta da Shenzhen Hetao College, Harbin Institute of Technology (Shenzhen), Shenzhen Big Data Research Institute, Huawei e Deepcity AI anunciou a conclusão bem-sucedida do pós-treino a parâmetros completos para o DeepSeek-V4-Pro, um modelo de 1,6 biliões de parâmetros, em infraestruturas de IA nacionais. Trata-se da primeira vez que uma organização de terceiros conclui o pós-treino a parâmetros completos para um modelo desta escala em hardware chinês.

A equipa recorreu a um cluster com mais de 1.000 chips Huawei Ascend 910C para ultrapassar estrangulamentos de comunicação através de um balanceamento de carga distribuído otimizado. Durante o processo de treino de 1.500 passos, o sistema operou sem interrupções, atingindo uma taxa de utilização de FLOPs do modelo (MFU) superior a 30% e melhorando a eficiência de operadores-chave em 14%, cumprindo padrões de desempenho de nível industrial.