INDUSTRY CONNECTIONS
GPU/AI 加速器
運算核心要與記憶體、互連及軟體一起看
GPU 能同時處理大量運算;AI 加速器則是更廣的概念,包含 GPU 和針對特定工作設計的晶片。實際效能除了運算單元,還受記憶體容量與頻寬、通訊、軟體和散熱限制。這也是它會連到多個產業節點的原因。
為何需要 HBM 與先進封裝?
部分高性能加速器需要高記憶體頻寬,將 HBM 靠近運算晶片可提供寬介面;先進封裝負責這些密集互連。
- NVIDIA H200 是採 HBM 的公開產品範例,不代表全部 GPU。
- 算力增加後,資料供應若跟不上,運算單元可能等待。
從晶片走到伺服器
封裝後的處理器進入模組或板卡,再與 CPU、網路、儲存和電力冷卻整合。
- 晶片封裝載板與伺服器系統 PCB 是不同層級。
- 機內 GPU 互連與跨伺服器網路也要分開。
如何比較規格?
先固定模型、精度、批量、軟體版本及功耗條件,再比較吞吐與延遲。
- 峰值算力不等於實際工作負載速度。
- 對材料需求的推估須回到實際板卡與封裝結構。
分類、性能與技術難點
以下按系統角色整理,訓練與推論可能使用相同硬體。不同晶片的精度、稀疏條件與軟體不同,效能數字不宜直接相加。
資料中心 GPU
常見應用:模型訓練、推論與科學計算
追求:提供可程式化的大量平行及矩陣運算。
難點:記憶體供應速度、功耗、散熱及軟體最佳化。
專用 AI 加速器
常見應用:特定模型、服務或工作負載
追求:針對目標運算取得合適效率及成本。
難點:軟體移植、模型支援與實際利用率;專用不代表對所有工作都更快。
加速器模組/系統
常見應用:將運算晶片整合成可部署設備
追求:把晶片、記憶體、供電和互連配成可用系統。
難點:模組介面、散熱、板材、韌體與機櫃條件須互相相容。
上下游與關聯環節
以下依地圖的供應、分類、技術或服務關係整理;關係方向保留原有標示,不代表個別公司之間已存在交易。
CoWoS 先進封裝 → GPU/AI 加速器
封裝整合選項
部分高性能 GPU/AI 加速器採這類封裝,不代表所有 GPU 都使用 CoWoS。
TSMC|CoWoS-S/R/LHBM 記憶體 → GPU/AI 加速器
高頻寬記憶體
部分高性能 GPU 使用 HBM,容量與頻寬取決於實際配置。
NVIDIA|H200:運算與 HBM 的系統範例GPU/AI 加速器 → AI 伺服器
運算組件
GPU/加速器與 CPU、記憶體、網路、供電和散熱共同構成 AI 系統。
NVIDIA|DGX B200 硬體組成IC 設計 → GPU/AI 加速器
晶片設計角色
這裡連接設計環節與功能產品,不代表特定晶片由哪一家企業設計或代工。
Synopsys|電子設計自動化晶片封裝 → GPU/AI 加速器
依產品選擇封裝
不同產品選擇不同封裝,不表示所有 GPU 或 SoC 都使用 CoWoS。
Amkor|半導體封裝種類客製化 3D 記憶體整合 → GPU/AI 加速器
AI 邏輯與記憶體整合方向
這是環節關係,不代表所列公司都有交易。
力積電|2026 COMPUTEX:3D AI Foundry 與合作夥伴GPU/AI 加速器 → 運算托盤與伺服器模組
運算晶片與加速器模組
為功能或流程關係,不推定節點內所有公司互相供貨。
NVIDIA|MGX 模組化架構與系統夥伴GPU/AI 加速器 → 桌上型個人電腦
選配圖形運算
表示產品功能與產業分工,不指定公司對公司採購關係。
AMD|處理器與顯示產品GPU/AI 加速器 → 筆記型電腦
依機型配置GPU
表示產品功能與產業分工,不指定公司對公司採購關係。
AMD|處理器與顯示產品GPU/AI 加速器 → 桌機顯示卡與板卡整合
圖形晶片整合
表示產品功能與產業分工,不指定公司對公司採購關係。
華碩|顯示卡產品代表公司與產品角色
本節點涵蓋 GPU 與客製 AI 加速器;ASIC 設計服務和 GPU 品牌的商業角色不同。