Rebellions triển khai mô hình AI A.X K1 của SK Telecom trên các máy chủ NPU trong nước

Các cuộc nổi dậy, một công ty bán dẫn AI của Hàn Quốc, đã vận hành thành công mô hình AI quy mô siêu lớn A.X K1 của SK Telecom trên các máy chủ đơn vị xử lý thần kinh (NPU) trong nước, theo công ty công bố vào ngày 23. Sử dụng máy chủ AI độc quyền “Rebel Server”, Rebellions đã thực thi ổn định mô hình với hơn 500Bỷ tham số và chứng minh dịch vụ tác nhân AI có thể xử lý đồng thời nhiều yêu cầu của người dùng. Thành tựu này cho thấy tính khả thi của việc vận hành các dịch vụ AI quy mô lớn chỉ với các mô hình AI trong nước và hạ tầng NPU, đồng thời định vị như một ví dụ thực tiễn về năng lực AI “chủ quyền”. Rebellions là thành viên liên minh thuộc SK Telecom trong dự án mô hình nền tảng AI độc lập của Bộ Khoa học và ICT, chịu trách nhiệm trình diễn hạ tầng AI dựa trên các NPU trong nước.

Rebellions Tối ưu Phần mềm cho Kiến trúc MoE và Xử lý Song song

A.X K1 áp dụng cấu trúc Mixture of Experts (MoE), chỉ chọn sử dụng các mô hình chuyên gia cần thiết để nâng cao hiệu quả tính toán của các mô hình quy mô lớn. Rebellions đã tối ưu phần mềm chuyên dụng cho mô hình MoE và áp dụng công nghệ phân phối nhiều tác vụ khác nhau trên các NPU để xử lý song song. Điều này cho phép một máy chủ xử lý nhiều yêu cầu của người dùng theo thời gian thực. Công ty cho biết một Rebel Server có thể đảm bảo hiệu năng hạ tầng tương đương các máy chủ GPU hiệu năng cao toàn cầu, giảm chi phí xây dựng trung tâm dữ liệu và gánh nặng vận hành.

Rebel Server Chứng minh Dịch vụ Tác nhân AI Nhiều người dùng theo thời gian thực

Trong buổi trình diễn, Rebellions giới thiệu một dịch vụ tác nhân, nơi người dùng có thể hỏi các câu như “các nhà thuốc có sẵn vào cuối tuần” và nhận kết quả được hiển thị trên bản đồ. Hệ thống xử lý phản hồi theo thời gian thực ngay cả trong môi trường mà nhiều người dùng đồng thời nhập các câu hỏi khác nhau. Buổi trình diễn xác nhận khả năng của máy chủ trong việc xử lý đồng thời khối lượng công việc của nhiều người dùng với hiệu năng ổn định.

Rebellions Tham gia Dự án Mô hình Nền tảng AI của Chính phủ

Park Sung-hyun, CEO của Rebellions, cho biết: “Đây là một ví dụ thực tiễn về AI chủ quyền, cho thấy các dịch vụ AI quy mô lớn có thể được vận hành chỉ bằng các mô hình siêu lớn trong nước và các NPU trong nước.” Rebellions tham gia với vai trò thành viên liên minh thuộc SK Telecom trong dự án mô hình nền tảng AI độc lập của Bộ Khoa học và ICT, nơi công ty chịu trách nhiệm trình diễn hạ tầng AI dựa trên các NPU trong nước.

FAQ

Rebellions đã đạt được gì với mô hình A.X K1 của SK Telecom?

Rebellions đã vận hành thành công mô hình AI A.X K1 của SK Telecom, với hơn 500Bỷ tham số, trên Rebel Server trong nước dựa trên NPU. Công ty đã chứng minh một dịch vụ tác nhân AI xử lý đồng thời nhiều yêu cầu của người dùng theo thời gian thực.

Rebel Server của Rebellions xử lý các mô hình AI lớn hiệu quả như thế nào?

Rebel Server tối ưu phần mềm cho kiến trúc Mixture of Experts (MoE) được sử dụng trong A.X K1, phân phối nhiều tác vụ khác nhau trên các NPU để xử lý song song. Nhờ đó, một máy chủ có thể đạt hiệu năng hạ tầng tương đương các máy chủ GPU hiệu năng cao toàn cầu trong khi vẫn xử lý nhiều yêu cầu của người dùng theo thời gian thực.