Akash Network ra mắt AkashML, dịch vụ suy luận AI được quản lý hoàn toàn đầu tiên trên GPU phi tập trung

Tóm tắt

Akash Network đã ra mắt AkashML, cung cấp API tương thích với OpenAI, truy cập toàn cầu với độ trễ thấp, và tiết kiệm chi phí lên tới 85% cho triển khai LLM.

Akash Network, một thị trường điện toán đám mây, vừa giới thiệu dịch vụ suy luận AI quản lý hoàn toàn đầu tiên hoạt động hoàn toàn trên GPU phi tập trung. Dịch vụ mới này loại bỏ những thách thức vận hành mà các nhà phát triển từng gặp phải khi quản lý suy luận cấp sản xuất trên Akash, mang lại lợi ích của điện toán đám mây phi tập trung mà không cần quản lý hạ tầng thủ công.

Khi ra mắt, AkashML cung cấp suy luận được quản lý cho các mô hình bao gồm Llama 3.3-70B, DeepSeek V3 và Qwen3-30B-A3B, sẵn sàng triển khai ngay lập tức và có thể mở rộng trên hơn 65 trung tâm dữ liệu toàn cầu. Thiết lập này cho phép suy luận toàn cầu tức thì, định giá trả theo số token dự đoán, và nâng cao năng suất cho nhà phát triển.

Akash đã hỗ trợ các nhà phát triển AI và startup từ những ngày đầu của ứng dụng AI sau các tiến bộ ban đầu của OpenAI. Trong vài năm qua, đội ngũ Akash Core đã hợp tác với các khách hàng như brev.dev (được Nvidia mua lại), VeniceAI, và Prime Intellect để ra mắt các sản phẩm phục vụ hàng chục nghìn người dùng. Trong khi những người dùng đầu tiên này có kỹ năng kỹ thuật và có thể tự quản lý hạ tầng, phản hồi cho thấy họ thích truy cập qua API thay vì xử lý hệ thống nền tảng. Ý kiến này đã dẫn hướng phát triển phiên bản AkashML không công khai cho nhóm người dùng chọn lọc, cũng như tạo ra AkashChat và AkashChat API, mở đường cho việc ra mắt công khai AkashML.

AkashML giúp giảm chi phí triển khai LLM lên tới 85%

Giải pháp mới này giải quyết một số thách thức chính mà các nhà phát triển và doanh nghiệp gặp phải khi triển khai các mô hình ngôn ngữ lớn. Giải pháp đám mây truyền thống thường có chi phí cao, với phiên bản đặt trước cho mô hình 70B vượt quá $0.13 cho mỗi đầu vào và $0.40 cho mỗi triệu token đầu ra, trong khi AkashML tận dụng cạnh tranh thị trường để giảm chi phí từ 70-85%. Chi phí vận hành cũng là một rào cản, vì đóng gói mô hình, cấu hình máy chủ vLLM hoặc TGI, quản lý phân mảnh, và xử lý chuyển đổi dự phòng có thể mất hàng tuần phát triển; AkashML đơn giản hóa bằng API tương thích OpenAI, cho phép di chuyển chỉ trong vài phút mà không cần thay đổi mã nguồn.

Độ trễ cũng là một vấn đề với các nền tảng tập trung khi yêu cầu phải đi qua khoảng cách xa. AkashML chuyển lưu lượng đến trung tâm dữ liệu gần nhất trong hơn 80 trung tâm toàn cầu, cung cấp thời gian phản hồi dưới 200ms phù hợp cho ứng dụng thời gian thực. Việc bị khóa nhà cung cấp hạn chế tính linh hoạt và kiểm soát mô hình, dữ liệu; AkashML chỉ sử dụng các mô hình mở như Llama, DeepSeek và Qwen, cho phép người dùng toàn quyền kiểm soát phiên bản, cập nhật, và quản trị. Thách thức mở rộng quy mô được giải quyết bằng cách tự động mở rộng trên nguồn GPU phi tập trung, duy trì thời gian hoạt động 99% và loại bỏ giới hạn dung lượng, đồng thời tránh tăng giá đột ngột.

AkashML được thiết kế để dễ dàng bắt đầu và có ROI ngay lập tức. Người dùng mới nhận được $100 tín dụng token AI để thử nghiệm tất cả các mô hình hỗ trợ qua Playground hoặc API. Một điểm cuối API duy nhất hỗ trợ tất cả mô hình và tích hợp với các framework như LangChain, Haystack, hoặc agent tùy chỉnh. Giá cả minh bạch và theo từng mô hình, ngăn ngừa chi phí phát sinh ngoài ý muốn. Các triển khai có tác động lớn có thể nhận được sự chú ý thông qua Akash Star, và các nâng cấp mạng sắp tới như BME, máy ảo, và điện toán bảo mật dự kiến sẽ tiếp tục giảm chi phí. Người dùng đầu báo cáo chi phí giảm từ ba đến năm lần và độ trễ dưới 200ms ổn định toàn cầu, tạo ra chu kỳ tăng cường giảm chi phí, tăng sử dụng và nhiều nhà cung cấp tham gia hơn.

Bắt đầu rất đơn giản: người dùng có thể tạo tài khoản miễn phí tại playground.akashml.com chỉ trong chưa đầy hai phút, khám phá thư viện mô hình bao gồm Llama 3.3-70B, DeepSeek V3 và Qwen3-30B-A3B, và xem giá công khai. Các mô hình bổ sung có thể yêu cầu trực tiếp trên nền tảng. Người dùng có thể thử mô hình ngay lập tức trên Playground hoặc qua API, theo dõi sử dụng, độ trễ, chi tiêu qua dashboard, và mở rộng triển khai thực tế với gán vùng và tự động mở rộng.

Suy luận tập trung vẫn đắt đỏ, chậm và hạn chế, trong khi AkashML cung cấp truy cập phi tập trung, quản lý hoàn toàn, ưu tiên API tới các mô hình mở hàng đầu với giá do thị trường quyết định. Các nhà phát triển và doanh nghiệp muốn giảm chi phí suy luận tới 80% có thể bắt đầu sử dụng nền tảng ngay lập tức.