Huawei, USTC і Пекінський університет досягли прискорення на 58% на Ascend A3 для тренування MoE-моделей

Згідно з Beating, дослідники з Huawei, Університету науки і технологій Китаю (USTC) та Пекінського університету представили HyperParallel-MoE — фреймворк компіляторного планування для чипів Ascend A3. Він зменшує затримку в модулях обчислень MoE експертів на 36%, досягаючи 58% загального прискорення обробки даних (у 1,49–1,58 раза швидше) у кластерах із 256 вузлами, що запускають моделі у стилі DeepSeek із 671 млрд параметрів, тоді як швидкість тренування за один крок зросла на 8–9%.
Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.
Прокоментувати
0/400
Немає коментарів