AI 服務(wù)器發(fā)展迅速，GPU 環(huán)節(jié)被英偉達與 AMD 所占據(jù)。AIGC 的發(fā)展帶動AI 服務(wù)器迅速增長，TrendForce 集邦咨詢預計 23 年 AI 服務(wù)器出貨量約 120 萬臺，同比+38.4%，占整體服務(wù)器出貨量的比約為9%，2022~2026 年 AI 服務(wù)器出貨量 CAGR 將達 22%，而 AI 芯片 2023 年出貨量將成長 46%。GPU 作為數(shù)據(jù)并行處理的核心，是 AI 服務(wù)器的核心增量。

本文來自“行業(yè)專題：GPU龍頭產(chǎn)品迭代不斷，產(chǎn)業(yè)鏈各環(huán)節(jié)持續(xù)催化”，全球GPU呈現(xiàn)“一超一強”的競爭格局，根據(jù) IDC 數(shù)據(jù)，2021 英偉達在企業(yè)級 GPU 市場中占比 91.4%，AMD 占比 8.5%。

目前英偉達產(chǎn)品 DGX GH200 已發(fā)布，互連技術(shù)強大，算力進一步升級。5月 29 日，英偉達在其發(fā)布會上，正式發(fā)布最新的 GH200 Grace Hopper 超級芯片，以及擁有 256 個 GH200 超級芯片的 NVIDIA DGX GH200 超級計算機。

GH200超級芯片內(nèi)部集成了 Grace CPU 和 H100 GPU，晶體管數(shù)量達 2000 億個。其借助 NVIDIA NVLink-C2C 芯片互連，將英偉達 Grace CPU 與英偉達 H100 TensorCore GPU 整合。與 PCIe Gen5 技術(shù)相比，其 GPU 和 CPU 之間的帶寬將提高 7倍，并將互連功耗減少至 1/5 以下。同時，DGX GH200 的 AI 性能算力將達到1exaFLOPS。

英偉達產(chǎn)品 DGX GH200 共享內(nèi)存大幅提升，突破內(nèi)存瓶頸。DGX GH200系統(tǒng)將 256 個 GH200 超級芯片與 144TB 的共享內(nèi)存進行連接，進一步提高系統(tǒng)協(xié)同性。與 DGX H100 相比，DGX GH200 的共享內(nèi)存提升約 230 倍。憑借強大的共享內(nèi)存，GH200 能夠顯著改善受 GPU 內(nèi)存大小瓶頸影響的 AI 和 HPC 應用程序的性能。而在具有 tb 級嵌入式表的深度學習推薦模型（DLRM）、tb 級圖神經(jīng)網(wǎng)絡(luò)訓練模型或大型數(shù)據(jù)分析工作負載中，使用 DGX GH200 可將速度提高4到7倍。

而 AMD 在美國時間 2023 年 6 月 13 日，推出其新款 AI 芯片 MI300 系列，兩款芯片分別為 MI300A 與 MI300X，分別集成 1460、1530 億個晶體管。MI300A內(nèi)含 13 個小芯片，總共集成 1460 億個晶體管，其內(nèi)部包含 24 個 Zen 4 CPU 核心、1 個 CDNA 3 圖形引擎和 128GB HBM3 內(nèi)存；而 MI300X 是針對大預言模型的優(yōu)化版本，其內(nèi)存達 192GB，內(nèi)存帶寬為 5.2TB/s，Infinity Fabric 帶寬為896GB/s，晶體管達 1530 億個。AMD 表示，與上代 MI 250 相比，MI300 的 AI性能和每瓦性能分別為 MI250 的 8 倍和 5 倍。

應用先進封裝 Chiplet 技術(shù)與 HBM3，工藝技術(shù)驅(qū)動產(chǎn)品升級。在以往 CPU、GPU 設(shè)計中，AMD 常利用其先進的封裝堆疊技術(shù)，集成多個小核心，從而實現(xiàn)整體性能的提升。根據(jù)芯智訊，MI300 由 13 個小芯片整合而成，其中其計算部分由 9 個基于臺積電 5nm 工藝制程的小芯片組成，這些小芯片包括了 CPU 和 GPU內(nèi)核。3D 堆疊設(shè)計極大提升了 MI 300 的性能與數(shù)據(jù)吞吐量。同時，MI300 兩側(cè)排列著 8 個合計 128GB 的 HBM3 芯片，滿足其海量且高速的數(shù)據(jù)存儲需求。

AI 大模型等 AIGC 產(chǎn)業(yè)的升級離不開算力的底層支持，使得 GPU 等大算力芯片性能持續(xù)提升，帶來產(chǎn)業(yè)鏈各環(huán)節(jié)增量。以英偉達 DGX H100 為例，其在GPU、互連技術(shù)、智能網(wǎng)卡、內(nèi)存條、硬盤等結(jié)構(gòu)上均較普通服務(wù)器有較大提升，同時其 PCB 的面積需求量與性能要求亦高于普通服務(wù)器。

（1）GPU：量價齊升，產(chǎn)業(yè)鏈最大增量。一般的普通服務(wù)器僅會配備單卡或雙卡，而 AI 服務(wù)器由于需要承擔大量的計算，一般配置四塊或以上的 GPU。且AI大模型在訓練與推理時的計算量巨大，中低端的GPU無法滿足其運算需求。如在英偉達 DGX H100 中，其配備 8 個 NVIDIA H100 GPU，總 GPU 顯存高達640GB；每個GPU配備18個NVIDIA NVLink，GPU之間的雙向帶寬高達900GB/s。若以每個 NVIDIA H100 GPU 單價 4 萬美元測算，DGX H100 的 GPU 價值量為32 萬美元，為 AI 服務(wù)器中的最大增量。

（2）硬盤：AI 服務(wù)器 NAND 數(shù)據(jù)存儲需求提升 3 倍。AI 服務(wù)器的高吞吐量及訓練模型的高參數(shù)量級亦推升 NAND 數(shù)據(jù)存儲需求。美光估計，AI 服務(wù)器中NAND 需求量是傳統(tǒng)服務(wù)器的 3 倍。一臺 DGX H100 中，SSD 的存儲容量達 30TB。

（3）內(nèi)存：AI 服務(wù)器 DRAM 數(shù)據(jù)存儲需求提升 8 倍，HBM 需求快速提升。以 HBM 為主要代表的存算一體芯片能夠通過 2.5D/3D 堆疊，將多個存儲芯片與處理器芯片封裝在一起，克服單一封裝內(nèi)帶寬的限制、增加帶寬、擴展內(nèi)存容量、并減少數(shù)據(jù)存儲的延遲。根據(jù)公眾號全球 SSD，三星 2021 年 2 月與 AMD 合作開發(fā) HBM-PIM，將內(nèi)存和 AI 處理器合而為一，在 CPU 和 GPU 安裝 HBM-PIM，顯著提高服務(wù)器運算速度。2023 年開年后，三星高帶寬存儲器（HBM）訂單快速增加。SK 海力士亦在 2021 年 10 月成功開發(fā)出 HBM3，并于 2022 年 6 月開始量產(chǎn)，在 2022 年第三季度向英偉達進行供貨。同時，美光估計，AI 服務(wù)器中 DRAM需求量是傳統(tǒng)服務(wù)器的 8 倍。如在一臺 DGX H100 中，內(nèi)存容量達 2TB。

（4）PCB：AI 服務(wù)器 PCB 明確受益 AI 算力提升。目前普通服務(wù)器需要 6-16層板和封裝基板，而 AI 服務(wù)器等高端服務(wù)器主板層數(shù)則達 16 層以上，背板層數(shù)超過 20 層。且除 GPU 外，服務(wù)器中主板、電源背板、硬盤背板、網(wǎng)卡、Riser卡等核心部分均需使用 PCB 板進行數(shù)據(jù)傳輸。服務(wù)器出貨量的增加將推動 PCB需求量的提升。

（5）先進封裝：高制程芯片設(shè)計成本與制造成本均呈現(xiàn)指數(shù)型的增長趨勢，Chiplet 等先進封裝應運而生。隨著制程的提升，芯片成本的提升呈現(xiàn)指數(shù)型增長。以芯片設(shè)計為例，根據(jù) UCIE 白皮書，28nm 制程的芯片設(shè)計成本約 0.51 億美元，但當制程提升至 5nm 時，芯片設(shè)計成本則快速升至 5.42 億美元，成本提升近十倍，先進制程的推進速度愈加緩慢。因此在 HPC 高性能計算領(lǐng)域，Chiplet 的重要性持續(xù)提升。

目前，以 CoWoS 為代表的高性能計算先進封裝產(chǎn)能緊缺，制約 GPU 產(chǎn)品出貨。英偉達 A100、H100 GPU 均采用臺積電 CoWoS 先進封裝工藝。而根據(jù)科創(chuàng)板日報與臺灣電子時報，英偉達將原定今年 Q4 的先進封裝 CoWoS 產(chǎn)能，改為 Q2-Q4 平均分配生產(chǎn)，訂單生產(chǎn)時間較原計劃大大提前。目前，臺積電 CoWoS封測產(chǎn)能供不應求，部分訂單已外溢日月光、矽品與 Amkor、聯(lián)電等。以 CoWoS 為代表的先進封裝技術(shù)產(chǎn)能緊缺，已成為制約 GPU 生產(chǎn)的關(guān)鍵環(huán)節(jié)。