ファーウェイ、USTC、北京大学が、MoEモデル学習でAscend A3により58%の高速化を達成

Beatingによると、Huawei、科学技術大学(USTC)、北京大学の研究者らが、Ascend A3チップ向けに設計されたコンパイラのスケジューリング基盤「HyperParallel-MoE」を発表しました。この基盤はMoEのエキスパート計算モジュールにおけるレイテンシーを36%低減し、671BパラメータのDeepSeek系モデルを実行する256ノード・クラスタで、全体のデータ処理速度を58%向上(1.49〜1.58倍高速化)させました。さらにシングルステップの学習速度は8〜9%改善しました。
免責事項:本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、免責事項をご確認ください。
コメント
0/400
コメントなし