Các tối ưu của vLLM từ Nvidia vượt trội hơn AMD trên các mô hình MoE, đạt hơn 12.000 token mỗi giây

NVDA-3,53%
AMD-4,22%
Theo SemiAnalysis vào ngày 13 tháng 7, Nvidia đã thể hiện rõ lợi thế về hiệu năng trong tối ưu hóa suy luận vLLM so với AMD, với kiến trúc GB200 NVL72 đạt tốc độ thông lượng trên 12.000 token mỗi giây trên các mô hình mixture-of-experts như Kimi K2.5. Phân tích cũng nêu bật rằng khung suy luận phân tán Dynamo của Nvidia, được tích hợp sâu với vLLM, giúp song song hóa chuyên gia hiệu quả và tối ưu hóa bộ đệm KV, trong khi AMD's MI355X hiện dựa trên các phiên bản vLLM tiêu chuẩn mà không có mức độ tối ưu tương đương cho các kịch bản MoE quy mô lớn.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ các nguồn bên thứ ba và chỉ mang tính chất tham khảo. Thông tin này không phản ánh quan điểm hoặc ý kiến của Gate và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Giao dịch tài sản ảo tiềm ẩn rủi ro cao. Vui lòng không chỉ dựa vào thông tin trên trang này khi đưa ra quyết định. Để biết thêm chi tiết, vui lòng xem Tuyên bố miễn trừ trách nhiệm.
Bình luận
0/400
Không có bình luận