Huawei, USTC và Đại học Bắc Kinh đạt mức tăng tốc 58% trên Ascend A3 để huấn luyện mô hình MoE

Theo Beating, các nhà nghiên cứu từ Huawei, Đại học Khoa học và Công nghệ Trung Quốc (USTC) và Đại học Bắc Kinh đã công bố HyperParallel-MoE, một khung lập lịch biên dịch được thiết kế cho chip Ascend A3. Khung này giúp giảm 36% độ trễ trong các mô-đun tính toán chuyên gia MoE, đồng thời đạt mức tăng tốc xử lý dữ liệu tổng thể 58% (nhanh hơn 1,49–1,58x) trên các cụm 256 nút chạy các mô hình kiểu DeepSeek tham số 671B, trong khi tốc độ huấn luyện theo từng bước được cải thiện 8–9%.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ các nguồn bên thứ ba và chỉ mang tính chất tham khảo. Thông tin này không phản ánh quan điểm hoặc ý kiến của Gate và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Giao dịch tài sản ảo tiềm ẩn rủi ro cao. Vui lòng không chỉ dựa vào thông tin trên trang này khi đưa ra quyết định. Để biết thêm chi tiết, vui lòng xem Tuyên bố miễn trừ trách nhiệm.
Bình luận
0/400
Không có bình luận