Tin tức cổng Gate, ngày 24 tháng 4 — Kỹ sư OpenAI Clive Chan đã đưa ra những phản đối chi tiết đối với chương khuyến nghị phần cứng trong báo cáo kỹ thuật V4, gọi chương này là “đáng ngạc nhiên là tầm thường và dễ gây lỗi” so với phiên bản V3 được ca ngợi. Hướng dẫn phần cứng của V3, bao gồm các buổi Q&A đã trở thành chủ đề thảo luận phổ biến nhất tại hội nghị học thuật ISCA, đưa ra các khuyến nghị cụ thể phù hợp với các tiêu chuẩn kết nối liên ngành trong ngành. Ngược lại, V4 lại còn mơ hồ hơn rất nhiều.

Chan đã phản biện có hệ thống ba khuyến nghị then chốt. Về mức tiêu thụ điện năng, báo cáo cho rằng việc tối ưu hóa phần mềm cho phép chip chạy đồng thời ở mức công suất tối đa cho tính toán, lưu trữ và truyền thông, đồng thời khuyến nghị các nhà sản xuất chip dành ra thêm phần dự trữ công suất. Chan lập luận rằng điều này phản tác dụng: tổng công suất của chip bị giới hạn bởi các hạn chế của quy trình vật lý, do đó việc dành thêm biên công suất chỉ làm giảm tần số hoạt động, cuối cùng kéo giảm hiệu suất tính toán. Đối với truyền dữ liệu GPU-GPU, báo cáo đề xuất mô hình kéo—trong đó các GPU chủ động nạp dữ liệu—thay vì mô hình đẩy, viện dẫn chi phí thông báo cao trong các thao tác đẩy. Chan phản bác điều này, cho rằng mô hình kéo thực ra còn chậm hơn và năng lực bộ điều hợp mạng được cải thiện sẽ là lựa chọn tốt hơn. Tuy nhiên, hai bên có thể đang thảo luận về những lớp khác nhau của vấn đề: báo cáo đề cập đến chi phí do cơ chế thông báo, còn Chan lại nói về độ trễ truyền tải.

Về các hàm kích hoạt, báo cáo khuyến nghị thay thế SwiGLU bằng các hàm đơn giản hơn để giảm gánh nặng tính toán. Chan không thấy có giá trị trong việc này, lưu ý rằng Sonic MoE đã chứng minh hiệu suất tối ưu khi sử dụng SwiGLU. Chan nghi ngờ DeepSeek có thể đã “cố ý làm suy yếu phần này.”

Xem nguồn

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo Tuyên bố miễn trừ trách nhiệm.