Rebellon chạy thành công mô hình AI tham số 500B+ của SK Telecom trên các máy chủ NPU trong nước

Theo Yonhap News, Rebellon, một công ty chip AI trong nước, đã chạy thành công mô hình A.X K1 của SK Telecom (500B+ tham số) trên Rebel Server của mình bằng các bộ xử lý NPU nội địa vào hôm nay (23/7). Buổi trình diễn cho thấy mô hình xử lý đồng thời nhiều yêu cầu người dùng theo thời gian thực, với dịch vụ tác nhân AI xử lý các truy vấn như tìm nhà thuốc có sẵn vào cuối tuần. Rebellon đã áp dụng cấu trúc mixture-of-experts (MoE) để tối ưu hiệu quả tính toán và phân phối khối lượng công việc trên các lõi NPU nhằm xử lý song song, qua đó đạt hiệu năng hạ tầng trên một máy chủ tương đương với các máy chủ GPU cao cấp, đồng thời giảm gánh nặng vận hành trung tâm dữ liệu.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ các nguồn bên thứ ba và chỉ mang tính chất tham khảo. Thông tin này không phản ánh quan điểm hoặc ý kiến của Gate và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Giao dịch tài sản ảo tiềm ẩn rủi ro cao. Vui lòng không chỉ dựa vào thông tin trên trang này khi đưa ra quyết định. Để biết thêm chi tiết, vui lòng xem Tuyên bố miễn trừ trách nhiệm.
Bình luận
0/400
Không có bình luận