gpu · hbm · memory wall · semiconductor supply chain

AI không thiếu sức tính. Nó thiếu băng thông bộ nhớ - và cả thế giới đang trả giá.

Mỗi GPU AI hiện đại cần hàng chục GB bộ nhớ HBM - loại chip xếp chồng 12 tầng, đắt gấp 5 lần DRAM thường, mà chỉ ba công ty trên thế giới biết sản xuất. Khi NVIDIA bán mỗi năm hàng triệu GPU cho data center, nhu cầu HBM hút cạn wafer silicon toàn cầu, đẩy giá RAM máy tính lên theo. Bài này giải thích tại sao bộ nhớ - chứ không phải bộ xử lý - mới là nút thắt cổ chai thật sự của AI, và một ý tưởng kiến trúc từ DeepSeek có thể phá vỡ thế cờ.

1 · Memory Wall - Bức Tường Bộ Nhớ

Câu chuyện bắt đầu bằng một nghịch lý: GPU ngày càng nhanh, nhưng bộ nhớ thì không theo kịp.

Trong 20 năm qua, sức tính (FLOPS) của server tăng 3x mỗi 2 năm. Trong khi đó, băng thông DRAM chỉ tăng 1.6x, và interconnect (đường nối giữa các chip) chỉ tăng 1.4x cùng chu kỳ. Khoảng cách giữa "tốc độ tính" và "tốc độ đọc dữ liệu" ngày càng doãng ra - giới kỹ thuật gọi đây là Memory Wall.

Hệ quả thực tế: một GPU như NVIDIA H100 có hàng nghìn nhân tính toán chạy song song. Khi tất cả cùng yêu cầu dữ liệu từ bộ nhớ, các request bị xếp hàng, và nhân tính toán ngồi chờ. Giới kỹ thuật gọi trạng thái này là compute starvation - bộ xử lý đói dữ liệu.

Với AI, vấn đề càng trầm trọng. Một LLM cỡ lớn (hàng trăm tỉ tham số) cần load toàn bộ trọng số vào bộ nhớ GPU trước khi chạy inference. Mỗi token sinh ra, mô hình đọc lại hàng trăm GB dữ liệu. Workload AI gần như hoàn toàn memory-bound - tốc độ đọc bộ nhớ, chứ không phải tốc độ tính, quyết định mô hình chạy nhanh hay chậm.

2 · HBM - Bộ Nhớ Băng Thông Cao

High Bandwidth Memory (HBM) giải quyết Memory Wall bằng một ý tưởng đơn giản nhưng cực kỳ khó chế tạo: xếp chồng nhiều tầng DRAM lên nhau, kết nối chúng bằng hàng nghìn đường dây xuyên silicon, rồi đặt cả cụm ngay cạnh GPU trên cùng một tấm đế.

Kiến trúc 3D: xếp chồng die, TSV, và silicon interposer

Một stack HBM gồm:

• Logic die (đáy): chứa memory controller, quản lý I/O, ECC, refresh, và phân phối điện.
• 8-12 lớp DRAM die xếp chồng bên trên, mỗi lớp là một chip nhớ DRAM riêng biệt.
• TSV (Through-Silicon Via): hàng nghìn "ống đồng" xuyên thẳng qua silicon, kết nối các tầng DRAM theo chiều dọc. Đây là xương sống cho phép dữ liệu chảy giữa các tầng mà không cần đi vòng ra ngoài.
• Microbumps: các điểm hàn siêu nhỏ giữa các die, đảm bảo kết nối cơ - điện.

Toàn bộ cụm HBM + GPU được đặt trên một silicon interposer - một tấm silicon mỏng với hàng nghìn đường dây dẫn siêu nhỏ. TSMC gọi công nghệ này là CoWoS (Chip-on-Wafer-on-Substrate). Interposer cho phép bus 1024-bit (HBM3) hoặc 2048-bit (HBM4) giữa GPU và bộ nhớ - rộng gấp 16-32 lần DDR5.

Triết lý "rộng, chậm, chồng"

DDR5 và GDDR6X chạy xung nhịp rất cao trên bus hẹp. HBM đi ngược lại: bus cực rộng, xung nhịp vừa phải. Thay vì ép tốc độ, HBM tăng băng thông bằng song song hóa cực độ - 16 kênh độc lập, mỗi kênh chia thành 2 pseudo-channel, cho phép đọc/ghi đồng thời.

Lợi ích phụ: vì xung nhịp thấp hơn, HBM tiêu thụ ít điện hơn trên mỗi bit so với GDDR. Ít nhiễu điện từ (EMI), ít nhiệt, ít phức tạp trong thiết kế mạch - đây là lý do HBM phù hợp với data center, nơi mỗi watt tiết kiệm được nhân lên hàng chục nghìn GPU.

3 · GPU AI Data Center: Ai Bán Gì

Thị trường GPU AI data center hiện tại gần như đồng nghĩa với NVIDIA. Đây là ba thế hệ kiến trúc đang chạy trong các data center lớn:

Nhìn vào bảng, xu hướng rõ ràng: mỗi thế hệ GPU, lượng HBM tăng gấp đôi. Từ 80 GB (H100) lên 192 GB (B200) lên 288 GB (Vera Rubin). Mỗi GPU cần 4-6 stack HBM. Mỗi data center cần hàng chục nghìn GPU. Nhân lên - nhu cầu HBM bùng nổ.

GB200 NVL72: rack-scale AI

NVIDIA không chỉ bán GPU lẻ. GB200 NVL72 là một rack hoàn chỉnh: 72 GPU B200 + 36 CPU Grace, kết nối qua NVLink 5 ở tốc độ 1.8 TB/s mỗi GPU. Một rack như vậy chứa 72 x 192 GB = 13.8 TB HBM3E - tương đương gần 14.000 thanh DDR5 laptop.

4 · Ai Hưởng Lợi? Ba "Ông Lớn" Chip Nhớ

Chỉ ba công ty trên thế giới sản xuất HBM: SK Hynix (Hàn Quốc), Samsung Electronics (Hàn Quốc), và Micron Technology (Mỹ). Đây là một oligopoly gần như tuyệt đối.

Vì sao HBM đẩy giá RAM lên?

Đây là cơ chế kinh tế cốt lõi mà nhiều người bỏ qua:

Sản xuất 1 GB HBM tiêu tốn wafer silicon gấp 3 lần so với 1 GB DDR5. Lý do:

• Mật độ bit thấp hơn: HBM3 có mật độ ~0.16 Gb/mm², trong khi DDR4 tương đương đạt ~0.30 Gb/mm² - thấp hơn gần 2x vì cần chừa không gian cho TSV.
• Stacking yield loss: khi xếp 12 die, xác suất lỗi nhân lên theo cấp số nhân. Một die hỏng = cả stack vứt bỏ.
• Advanced packaging: CoWoS interposer là một wafer silicon riêng, thêm một bước sản xuất đắt đỏ với năng lực hạn chế.

Khi ba hãng chuyển 23% wafer sang làm HBM (mang lại biên lợi nhuận cao hơn), lượng wafer còn lại cho DDR5/LPDDR5 bị co lại. Cầu DDR5 (từ PC, server thường, smartphone) không giảm. Cung giảm + cầu giữ nguyên = giá DRAM tăng.

Kết quả: giá DRAM tăng 90% chỉ trong Q1 2026 so với Q4 2025. Samsung và SK Hynix đã tăng giá HBM3E thêm ~20% cho 2026. Micron thậm chí quyết định rút hẳn khỏi thị trường consumer để tập trung toàn bộ năng lực vào AI data center - nơi biên lợi nhuận cao gấp nhiều lần.

5 · Thách Thức Kỹ Thuật Của HBM

HBM không phải "viên đạn bạc". Công nghệ này đi kèm nhiều thách thức mà các nhà sản xuất phải giải quyết:

Nhiệt

12 tầng DRAM xếp chồng = 12 nguồn nhiệt chồng lên nhau, ngay cạnh GPU die đang chạy ở hàng trăm watt. Nhiệt không thoát được ra ngoài dễ dàng vì bị "kẹp" giữa các tầng. Data center phải dùng tản nhiệt buồng hơi (vapor chamber) hoặc tản nhiệt nước (liquid cooling) - tăng chi phí hạ tầng đáng kể.

Phân phối điện (PDN)

Hàng nghìn đường tín hiệu song song tạo ra dòng điện quá độ (transient current) rất lớn. Thiết kế mạng phân phối điện phải cực kỳ chính xác - cần lưới nguồn/đất dày đặc và tụ ghép giảm nhiễu (decoupling capacitor) ở cả interposer lẫn substrate.

Tính toàn vẹn tín hiệu

Với hàng nghìn đường tín hiệu chạy song song trên vài mm, nhiễu xuyên kênh (crosstalk) và jitter là vấn đề lớn. Giải pháp: matched trace length, differential signaling, clock tách rời (command bus chạy ở nửa tần số data bus).

Yield và chi phí đóng gói

CoWoS capacity là nút thắt cổ chai vật lý. TSMC là nhà cung cấp CoWoS gần như độc quyền. Mỗi interposer là một wafer silicon riêng, có giới hạn kích thước (reticle limit ~858 mm2). GPU lớn hơn + nhiều stack HBM hơn = cần interposer lớn hơn = khó sản xuất hơn.

6 · Nghịch Lý: GPU Đắt Tiền, Nhưng Ngồi Chờ

Đây là nghịch lý lớn nhất của ngành AI infrastructure: các công ty đổ hàng tỉ đô mua GPU, rồi để chúng ngồi không phần lớn thời gian.

Một rack GB200 NVL72 có giá khoảng $3-4 triệu. Nếu utilization chỉ 30-40%, nghĩa là $1.2-1.6 triệu tiền phần cứng đang ngồi chờ dữ liệu từ bộ nhớ tại bất kỳ thời điểm nào. Nhân lên hàng nghìn rack trong một data center lớn - con số lãng phí lên tới hàng trăm triệu đô.

Tại sao GPU không chạy hết công suất?

Nhiều người nghĩ GPU idle vì thiếu workload. Thực tế, nguyên nhân chính là memory bandwidth không đủ "nuôi" GPU:

• Compute starvation khi inference: Lúc training, batch size lớn giúp phân bổ latency. Nhưng khi chạy inference (đặc biệt single-user), mỗi query phải đọc toàn bộ model weights từ HBM. GPU có hàng nghìn tensor core nhưng chỉ vài kênh memory - các core xếp hàng chờ dữ liệu. Khi memory controller utilization vượt 80%, tensor core thực tế đang ngồi không chờ data.
• Batch size mismatch: AI inference thường có batch nhỏ, không đủ lấp đầy pipeline GPU. Kết quả: compute unit rảnh trong khi memory unit chạy hết tải.
• Networking bottleneck: Trong multi-GPU training, dữ liệu phải đồng bộ giữa các GPU qua NVLink hoặc InfiniBand. Nếu interconnect chậm hơn tốc độ tính toán, GPU chờ đồng bộ. Đường quang (optical interconnect) đang trở thành nút thắt tiếp theo - nếu optics không scale, GPU tiếp tục idle.
• Scheduling overhead: Container startup, model loading, queue wait - mỗi lần chuyển job mới, GPU phải load lại model weights (hàng trăm GB) vào HBM. Thời gian load = thời gian idle.

Training vs Inference: hai bài toán khác nhau

Training ít bị ảnh hưởng hơn vì batch size lớn (hàng nghìn sample/batch), giúp amortize memory latency. GPU chạy gần full utilization trong training workload liên tục.

Inference là vấn đề lớn hơn nhiều. Mỗi user query = batch size 1. Model phải đọc lại toàn bộ weights cho mỗi token sinh ra. Đây là lý do GPU inference throughput thường chỉ đạt 40-100 tokens/giây, trong khi kiến trúc chuyên inference (như Groq LPU với SRAM on-chip, bandwidth ~80 TB/s) đạt 300-750 tokens/giây. Sự khác biệt không đến từ sức tính - mà từ tốc độ đọc bộ nhớ.

7 · DeepSeek Engram - Phá Thế Độc Quyền HBM?

Tháng 1/2026, DeepSeek công bố một paper gây chấn động: Engram - một kiến trúc "conditional memory" tách biệt kiến thức tĩnh khỏi suy luận động, cho phép giảm phụ thuộc vào HBM đắt đỏ.

Ý tưởng cốt lõi

Transformer truyền thống buộc mọi layer phải đồng thời làm hai việc: (1) tra cứu sự thật ("Paris là thủ đô nước Pháp") và (2) suy luận ("nếu X thì Y"). Cả hai đều chạy trên GPU, đều đọc từ HBM.

Engram tách hai việc này ra:

Cách hoạt động (technical)

Tokenizer Compression: Engram chuẩn hóa các token tương đương (ví dụ: "Apple", "APPLE", "apple") về một dạng canonical, giảm 23% kích thước vocabulary. Pipeline: NFKC - NFD - bỏ dấu - lowercase.

Multi-Head Hashing: Thay vì bảng tra cứu N-gram khổng lồ (bất khả thi ở quy mô lớn), Engram dùng K hàm hash khác nhau cho mỗi cấp N-gram. Lookup chỉ tốn O(1) - không cần attention, không cần GPU tính toán. Kết quả từ các hash head được tổng hợp, giảm tác động của collision.

Context-Aware Gating: Không phải mọi thông tin tra được đều đúng ngữ cảnh. Một cơ chế gating dùng hidden state của mô hình làm query để kiểm tra: embedding vừa tra có phù hợp với câu đang xử lý không? Nếu không - loại bỏ. Nếu có - tích hợp vào luồng tính toán.

Kết quả benchmark

Tỷ lệ tối ưu: 20-25% parameter budget cho Engram, 40% cho MoE. Engram-27B cắt số expert từ 72 xuống 55, dồn parameter còn lại vào module embedding 5.7B ở layer 2 và 15.

Hàm ý cho ngành

Nếu Engram scale được (và DeepSeek đã open-source module này), hệ quả rất lớn:

• Giảm áp lực HBM: Mô hình AI có thể chạy trên cấu hình "HBM vừa phải + DRAM lớn" thay vì phải dồn mọi thứ vào HBM đắt đỏ.
• Tăng nhu cầu DRAM/CXL: Nếu kiến thức tĩnh chuyển sang system memory, nhu cầu DRAM capacity sẽ tăng mạnh - lợi cho cả ba hãng chip nhớ, nhưng với biên lợi nhuận thấp hơn HBM.
• Yếu tố địa chính trị: Trung Quốc bị hạn chế mua GPU cao cấp (và HBM đi kèm). Engram cho phép triển khai mô hình cạnh tranh trên phần cứng yếu hơn - giảm hiệu quả của lệnh cấm xuất khẩu chip Mỹ.
• Kiến trúc tương lai: Thay vì coi compute và memory là một khối, tách chúng thành hai tài nguyên scale độc lập - giống như cloud computing đã tách compute và storage.

8 · Nhìn Về Phía Trước

Thị trường HBM dự kiến đạt $54.6 tỉ năm 2026 (tăng 58% YoY) và tiếp tục tăng khi mỗi thế hệ GPU đòi hỏi nhiều bộ nhớ hơn. Memory Supercycle - chu kỳ siêu tăng trưởng chip nhớ - là thuật ngữ các nhà phân tích dùng để mô tả giai đoạn này.

Nhưng Engram và các kiến trúc tương tự đặt ra một câu hỏi: liệu HBM có còn là nút thắt cổ chai duy nhất trong 5 năm tới? Hay ngành AI sẽ học cách tách memory khỏi compute - giống như đã tách storage khỏi compute trong thập kỷ trước?