Hugging Face chính thức ra mắt Kernels, các toán tử GPU như mô hình chỉ cần một dòng mã để cài đặt

Tin tức ME, ngày 15 tháng 4 (UTC+8), theo theo dõi của 1M AI News, CEO Hugging Face Clem Delangue thông báo Kernels chính thức ra mắt Hub. GPU operator là mã tối ưu nền tảng giúp card đồ họa đạt tốc độ tối đa, có thể tăng tốc suy luận và huấn luyện từ 1.7 đến 2.5 lần, nhưng việc cài đặt luôn là cơn ác mộng: lấy FlashAttention phổ biến nhất làm ví dụ, biên dịch cục bộ cần khoảng 96GB bộ nhớ và vài giờ, phiên bản PyTorch, phiên bản CUDA nếu có chút sai lệch sẽ báo lỗi, đa số nhà phát triển bị kẹt ở bước cài đặt này. Kernels Hub chuyển việc biên dịch lên đám mây. Hugging Face đã biên dịch sẵn các operator trên nhiều loại card đồ họa và môi trường hệ thống khác nhau, nhà phát triển chỉ cần viết một dòng mã, Hub tự động phù hợp với phần cứng, tải xuống tệp đã biên dịch sẵn trong vài giây để sử dụng ngay. Cùng một tiến trình có thể tải nhiều phiên bản operator khác nhau, tương thích với torch.compile. Kernels thử nghiệm ra mắt vào tháng 6 năm ngoái, tháng này nâng cấp thành loại kho lưu trữ cấp 1 của Hub, cùng với Models, Datasets, Spaces. Hiện đã có 61 operator đã biên dịch sẵn, bao gồm các kịch bản phổ biến như cơ chế chú ý, chuẩn hóa, định tuyến chuyên gia pha trộn, lượng tử hóa, hỗ trợ bốn nền tảng tăng tốc phần cứng: NVIDIA CUDA, AMD ROCm, Apple Metal và Intel XPU, đã tích hợp vào khung suy luận TGI và thư viện Transformers của Hugging Face. (Nguồn: BlockBeats)