Huawei, USTC и Пекинский университет добиваются 58% ускорения на Ascend A3 для обучения моделей MoE

Согласно Beating, исследователи из Huawei, Университета науки и технологий Китая (USTC) и Пекинского университета представили HyperParallel-MoE — компиляторную систему планирования, предназначенную для чипов Ascend A3. Эта схема снижает задержки в модулях вычислений MoE для экспертов на 36%, обеспечивая ускорение обработки данных в целом на 58% (в 1,49–1,58 раза быстрее) в кластерах из 256 узлов, где запускаются модели в стиле DeepSeek с 671 млрд параметров, при этом скорость обучения за один шаг выросла на 8–9%.
Дисклеймер: Информация на этой странице может быть получена из источников третьих сторон и предоставляется только для ознакомления. Она не отражает взгляды или мнения Gate и не является финансовой, инвестиционной или юридической рекомендацией. Торговля виртуальными активами связана с высоким риском. Пожалуйста, не основывайте свои решения исключительно на данных этой страницы. Подробнее смотрите в Дисклеймере.
комментарий
0/400
Нет комментариев