华为的 Ascend 910C 完成对 DeepSeek 1.6 万亿参数模型的后训练,使用 1,000+ 张 GPU

根据 Beating,来自深圳河套学院、哈尔滨工业大学(深圳)、深圳大数据研究院、华为以及 Deepcity AI 的联合团队已宣布已在国产 AI 基础设施上成功完成 DeepSeek-V4-Pro 的全参数后训练。该模型拥有 1.6 万亿参数。这标志着第三方组织首次在中国硬件上完成如此规模模型的全参数后训练。

团队借助由 1,000 多颗华为 Ascend 910C 芯片构成的集群,通过优化的分布式负载均衡克服通信瓶颈。在 1,500 步的训练过程中,系统持续无中断运行,实现模型 FLOPs 利用率(MFU)超过 30%,并使关键算子效率提升 14%,达到工业级性能标准。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明
评论
0/400
暂无评论