Moonshot AI’s Kimi K4 đối mặt tình trạng thiếu chip Blackwell; quy mô mô hình lớn hơn K3

Theo các báo cáo do Beating và The Information theo dõi, Moonshot AI đã bắt đầu thảo luận về Kimi K4 với quy mô lớn hơn đáng kể so với K3, dù công ty vẫn đang tích cực tìm kiếm các chip Nvidia Blackwell và phải đối mặt với những hạn chế phần cứng đáng kể. The Information cũng cho biết một phần quá trình huấn luyện của K3 được hoàn tất tại Trung Quốc, chứ không chỉ diễn ra ở các trung tâm dữ liệu tại Thái Lan.

Việc triển khai K3, đạt 28 nghìn tỷ tham số, đã được hoàn tất bằng cách kết nối nhiều máy chủ tám GPU trên các nhà cung cấp đám mây Trung Quốc khác nhau do năng lực của từng hệ thống không đủ. Kể từ khi K3 ra mắt, khả năng tính toán vận hành đã bị siết chặt; công ty đã tạm dừng các gói đăng ký mới trong vòng 48 giờ do nhu cầu người dùng tăng vọt. Mốc thời gian cho K4 hiện vẫn chưa được xác định, phụ thuộc vào việc có thêm chip Blackwell hay không.