HBM là gì? Có phải làm bằng vàng không? Sao đắt vậy?

黄仁勋在 GTC sân khấu nâng tấm bảng này lên. Đó là phần “trái tim” của năng lực tính toán ngày nay. Nhưng rất ít người biết: bộ phận đắt giá nhất trên tấm bảng đó không phải GPU, mà là vài viên gạch đen nhỏ trông có vẻ không đáng chú ý bên cạnh GPU.

图1：GTC tại chỗ, bo mạch GB300. Nhân vật chính của câu chuyện nằm ngay trên tấm board này.

Nó có tên là HBM — High Bandwidth Memory, bộ nhớ băng thông cao.

Bài viết này cho biết: nó nằm ở đâu, cách kết nối ra sao, vì sao không thể thiếu nó, và nó được chế tạo như thế nào.

一、先找到它：显存去哪了

Trước hết, hãy nhìn một bức “ảnh giải phẫu” của một card đồ họa thông thường. RTX 5090, GPU (GB202) ở chính giữa, xung quanh là cả một vòng các hạt đen nhỏ — đó là 16 chip nhớ GDDR7. Chúng “ở bên ngoài” GPU, ngăn cách qua vài centimet đường mạch in trên bo và “đàm thoại” với GPU.

图2：Ảnh PCB RTX 5090 cận cảnh. Khung xanh là GPU, khung xanh lá là 16 chip GDDR7 — giải pháp truyền thống: bộ nhớ nằm bên ngoài chip đóng gói.

Tiếp theo là chip AI Blackwell. Điều lạ xảy ra: không có một chip bộ nhớ nào “ở bên ngoài”. Bởi bộ nhớ đã được đưa vào bên trong bao bì — lật nắp kim loại lên, ở hai bên của hai GPU die, áp sát với 8 stack HBM, khoảng cách từ vài centimet rút xuống chỉ vài milimet.

图3：Bên trong bao bì Blackwell. Khung đồng là 8 stack HBM3E, khung xanh là hai GPU die. Bộ nhớ từ “hàng xóm bên ngoài” biến thành “người bạn cùng nhà”.

Điều này không chỉ là di chuyển vị trí đơn giản. Bên trong GPU đã được thiết kế riêng 8 bộ điều khiển HBM để giao tiếp với chúng; 8 stack HBM3E cho tổng dung lượng 288GB, băng thông 8TB mỗi giây — hai con số này chính là “mạch sống” của chip AI.

图4：Sơ đồ kiến trúc chính thức của Blackwell Ultra. Khung xanh là 8 bộ điều khiển HBM, khung vàng là thông số chính thức: 288GB HBM3E, 8 stack, băng thông tối đa 8TB/s.

Thế hệ Rubin kế tiếp chỉ lắp còn nhiều hơn. Có thể nói: HBM giờ đã là một nửa “chi phí” của chip AI.

图5：Bo mạch Vera Rubin, hai gói GPU Rubin (HBM4 nằm bên dưới nắp).

二、GPU 为什么"饿"：厨师与仓库

Để hiểu vì sao HBM tồn tại, trước hết phải hiểu “nỗi đau” của GPU. Nếu xem GPU như một đầu bếp, thì bộ nhớ hiển thị là kho, còn các đường dây là đường vận chuyển thức ăn. Một đầu bếp một giây có thể xào được 10 nghìn món — nhưng nếu món không được đưa vào, thì dù có ba đầu sáu tay cũng vô ích.

图6：GPU = đầu bếp, bộ nhớ = kho, đường dây = đường vận chuyển. Ở kỷ nguyên AI, “món” là hàng nghìn tỷ tham số mô hình.

“Món” của đại mô hình AI là hàng trăm tỷ tham số; mỗi lần tính là lại phải chở dữ liệu từ bộ nhớ vào rồi đưa ra. Vì vậy “đòn bẩy” chiến thắng của card đồ họa không còn là “tính nhanh bao nhiêu”, mà là “nuôi dữ liệu nhanh thế nào”. Năng lực “cho ăn” dữ liệu chính là băng thông.

三、带宽只有两条路：更快，或者更宽

Dữ liệu chạy trên đường dây nhờ điện áp: điện áp cao là 1, điện áp thấp là 0, một giây chuyển đổi hàng chục tỷ lần. Muốn truyền nhanh hơn, chỉ có hai cách.

Cách thứ nhất là tăng xung — làm cho việc chuyển mức điện diễn ra nhanh hơn. GDDR7 đã nhanh đến mức mỗi dây có thể chuyển đổi 28 tỷ lần mỗi giây. Nhưng định luật vật lý bắt đầu “thu phí”: nhanh quá thì tín hiệu bị biến dạng, các đường dây kề nhau còn “can nhiễu” lẫn nhau, giống như một hàng người đứng cạnh nhau vừa hét vừa gây nhiễu — càng hét càng nhanh, cuối cùng chẳng ai nghe rõ ai.

Cách thứ hai là tăng độ rộng băng — không cố nhanh, mà cố chở nhiều hơn, mở thêm làn.

图7：GDDR7 là những con đường nhỏ 32 làn, còn HBM là “đại lộ” 1024 làn.

Đó là công thức duy nhất trong toàn bài:

图8：Băng thông = tần số × độ rộng kênh. Tốc độ của một đường dây, nhân với số lượng đường.

HBM chọn hướng “rộng”. Một stack có 1024 đường dữ liệu, gấp 32 lần mỗi chip GDDR7 đơn; một GPU dùng 8 stack, tổng cộng 8192 đường làn. Mỗi làn chậm đi khoảng 3 lần cũng không sao — vì số làn tăng lên 32 lần. Một stack đạt 1,2TB mỗi giây, tương đương mỗi giây truyền xong 300 bộ phim.

四、三万根线的灾难

Nghe như hoàn hảo? Nhưng với kỹ sư, đó lại là một thảm họa. 1024 đường dữ liệu chỉ mới là bắt đầu; còn phải kèm theo đường cấp điện, đường địa chỉ, đường xung clock… Một stack phải kéo ra gần 4000 đường, và 8 stack là khoảng 30 nghìn đường.

30 nghìn đường là khái niệm gì? Ngay cả toàn bộ hệ thống dây điện trong một căn nhà cao tầng cũng không có nhiều đến vậy. Và chúng phải nhét hết vào trong một gói đóng gói có kích thước như một tấm thẻ ngân hàng.

图9：Số lượng liên kết dây của cả một tòa nhà < số lượng liên kết trong một gói đóng gói. Vấn đề đến: các đường này sẽ đi đâu?

五、电路板的极限：它的芯是一块布

Trước hết, xem bo mạch truyền thống “vẽ line” như thế nào. Nhiều người không biết: phần “nền” của bo mạch thực ra là một mảnh vải — vải sợi thủy tinh được dệt ra, ngâm nhựa epoxy, rồi ép lên một tấm lá đồng.

Ở đây, dây không được ghép từng sợi như lắp ráp. Nó được in lên. Quy trình là: dán lớp màng nhạy sáng, dùng ánh sáng chiếu vào và rửa bằng dung dịch, phần đồng không được bảo vệ sẽ bị ăn mòn — phần còn lại chính là các đường mạch.

Nhưng cần biết giới hạn của quy trình này chỉ ở mức vài chục micromet.

图10：Vải thủy tinh + lá đồng + khắc ăn mòn quang hóa. Nhưng giới hạn của quy trình này là độ rộng đường ở mức vài chục micromet — khoảng một nửa sợi tóc. Với 30 nghìn đường thì vẫn quá dày.

六、换一张"纸"：硅中介层

Nhưng giới hạn của quy trình này là vài chục micromet — khoảng một nửa sợi tóc. Với 30 nghìn đường thì vẫn quá dày, căn bản không nhét nổi.

Làm sao đây? Thay “tờ giấy” để vẽ đường — chuyển sang silicon. Trên wafer silicon có thể dùng máy quang khắc để vẽ line (vì thế máy quang khắc quan trọng đến vậy), chi tiết tới dưới 1 micromet, chỉ bằng 1/100 độ dày sợi tóc. Cùng một diện tích, nhét được số lượng đường gấp hàng trăm lần.

Miếng silicon chuyên dùng để đi dây này gọi là silicon interposer (silicon trung gian). GPU và HBM đều ngồi trên nó; toàn bộ 30 nghìn đường được trải hết lên miếng silicon này. Chip không chồng lên nhau, nhưng cùng ngồi chung trên một miếng silicon — dạng đóng gói này trong ngành gọi là 2.5D.

图11：GPU và HBM nằm song song trên silicon interposer, bên dưới là các đường quang khắc dày như sợi tóc. Đây là nền tảng cho “mối quan hệ bạn cùng nhà” trong hình 3.

七、容量：地不够，往天上盖

Sau khi giải quyết được vấn đề “làn đường”, còn một vấn đề thứ hai: dung lượng. 5090 dùng 16 chip GDDR7 2GB, tổng cộng chỉ có 32GB; còn chỉ riêng vài tham số của một đại mô hình cũng cần tới vài trăm GB, lệch cả một bậc độ lớn. Trải phẳng? Trên silicon trung gian căn bản không đủ chỗ.

Giống cách các thành phố lớn làm: đất không đủ thì xây cao — xếp chồng các chip DRAM thành một tòa nhà 12 tầng.

图12：DRAM die xếp chồng từng tầng, dung lượng tăng theo bội số. Nhưng vấn đề mới lại xuất hiện: từ trên xuống dưới, làm sao “cho nước và điện” ?

八、TSV：楼里的电梯井

Một tòa nhà cao như vậy thì giữa các tầng phải liên lạc thế nào? Câu trả lời là TSV (Through-Silicon Via, lỗ xuyên silicon): trên mỗi lớp chip, khoan xuyên thẳng hàng nghìn “giếng thang máy”. Giếng nhỏ cỡ nào? Đường kính 5 micromet, bằng 1/14 sợi tóc. Lỗ mảnh đến mức không có mũi khoan nào trên thế giới khoan được; chỉ có thể dùng plasma (aka thuốc hóa học) để “gặm” nó.

Nhưng plasma không nghe lời: vừa gặm xuống dưới cũng gặm sang hai bên, khiến lỗ bị gặm thành hình cầu. Cách giải của kỹ sư là công nghệ Bosch: theo chu kỳ 3 bước, có thể nhớ thành: gặm — quét — đập —

1. Gặm (ăn mòn): plasma gặm xuống một chút;

2. Quét (bảo vệ): phun một lớp teflon, giống như quét sơn chống thấm lên thành giếng;

3. Đập (kích): “mưa” ion theo phương thẳng đứng đập lớp sơn ở đáy giếng vỡ ra, để vòng tiếp theo chỉ có thể tiếp tục gặm xuống.

4. Lặp đi lặp lại như vậy, từng lớp gặm — quét (lớp màng bảo vệ) — xuyên thủng, cho đến khi đến đúng vị trí chỉ định

图13：Gặm, quét, đập, lặp vài trăm lần thì một giếng sâu thẳng đứng cũng được đào xong. Trên thành giếng có các vòng “răng sò” — dấu răng do quá trình lặp tạo ra.

Sau khi đào xong giếng: đầu tiên, lắng đọng pha hơi một lớp màng cách điện để tách đồng và silicon, rồi cho cả tấm wafer vào dung dịch đồng sunfat để mạ điện, bơm đầy đồng vào trong giếng. Bước cuối cùng là mài bỏ phần lớn phía sau của wafer, còn lại 30 micromet — khoảng 1/3 một tờ giấy in. Cột đồng lộ ra từ mặt sau: kênh liên lạc tầng trên và tầng dưới cuối cùng đã thông.

图14：Mỏng từ mặt sau còn 30 micromet (bên phải: so sánh với độ dày của tờ giấy in). Mỗi lớp chip đều phải đi qua quy trình này.

九、盖楼的两大门派

Giờ thì hàn gắn các “tấm sàn” 12 tầng lại với nhau. Giữa các lớp dùng các quả cầu hàn cực nhỏ để kết nối — mỗi quả còn nhỏ hơn một hạt phấn hoa; một lớp có vài nghìn quả, không viên nào được lệch. Còn việc hàn và xếp chồng như thế nào, ngành chia thành hai phái:

Khi hàn xong cả tòa, dùng nhựa epoxy để rót vào — tản nhiệt tốt hơn, tỉ lệ đạt chuẩn tốt hơn; mạ màng từng lớp rồi ép.

图15：Bên trái, SK hynix — hàn xong cả tòa, rồi rót vào một mẻ “bê tông” epoxy (MR-MUF); bên phải, Samsung/Micron — phủ một lớp màng keo, ép thêm một lớp tấm sàn (TC-NCF).

“Bê tông” của SK hynix có khả năng dẫn nhiệt rõ ràng tốt hơn. Tòa nhà càng cao, nhiệt càng tập trung, thì độ dẫn nhiệt của vật liệu giữa các lớp càng đáng tiền — chỉ riêng mẻ keo đó đã giúp SK hynix giành được đơn lớn từ NVIDIA và ngồi lên “ghế số một” của thị trường HBM.

十、成品，与你要付的账单

Xếp chồng 12 tầng lại, một tòa nhà là 36GB; 8 tòa bao quanh GPU, một chip là 288GB; 4 chip trên một bo, 1152GB, vượt 1TB — đây chính là tấm board trong hình 1 mà Huang Renxun cầm trên tay.

Chi phí là gì? Để tạo ra 1GB HBM, phải tiêu tốn năng lực sản xuất wafer của bộ nhớ thông thường khoảng 3GB: chip HBM lớn hơn (TSV chiếm diện tích), tỉ lệ đạt khi xếp chồng bị nhân giảm, và còn tốn thêm công đoạn chiếm dụng dây chuyền sản xuất. Tất cả nhà máy trên thế giới đều đang xây tòa nhà cho AI, nên bộ nhớ thông thường bị “cắt lương thực”.

图16：Cùng công suất sản xuất của nhà máy, 1GB HBM ≈ 3GB DDR5. Đây là cơ chế đầy đủ của đợt tăng giá bộ nhớ lần này.

Vì vậy, khoản tiền bạn bỏ thêm để mua thanh RAM thực ra là bạn đang trả tiền thuê nhà cho AI.