從PC時代走向移動與AI時代，芯片的架構(gòu)也從以CPU為中心走向了以數(shù)據(jù)為中心。AI帶來的考驗不僅包括芯片算力，也包括內(nèi)存帶寬。縱使DDR和GDDR速率較高，在不少AI算法和神經(jīng)網(wǎng)絡(luò)上，卻屢屢遇上內(nèi)存帶寬上的限制，主打大帶寬的HBM也就順勢成了數(shù)據(jù)中心、HPC等高性能芯片中首選的DRAM方案。

當(dāng)下JEDEC還沒有給出HBM3標(biāo)準(zhǔn)的最終定稿，但參與了標(biāo)準(zhǔn)制定工作的IP廠商們已經(jīng)紛紛做好了準(zhǔn)備工作。不久前，Rambus就率先公布了支持HBM3的內(nèi)存子系統(tǒng)，近日，新思科技也公布了業(yè)界首個完整HBM3 IP與驗證方案。

IP廠商先行

早在今年初，SK海力士就對HBM3內(nèi)存產(chǎn)品的性能給出了前瞻，稱其帶寬大于665 GB/s，I/O速度大于5.2Gbps，不過這只是一個過渡的性能。同在今年，IP廠商公布的數(shù)據(jù)進一步拉高了上限。比如Rambus公布HBM3內(nèi)存子系統(tǒng)中，I/O速度高達8.4Gbps，內(nèi)存帶寬最高可至1.075TB/s。

今年6月，臺灣創(chuàng)意電子發(fā)布了基于臺積電CoWoS技術(shù)的AI/HPC/網(wǎng)絡(luò)平臺，搭載了的HBM3控制器與PHY IP，I/O速度最高達到7.2Gbps。創(chuàng)意電子還在申請一項中介層布線專利，支持任何角度的鋸齒形布線，可將HBM3 IP拆分至兩個SoC上使用。

新思科技公布的完整HBM3 IP方案為2.5D多晶片封裝系統(tǒng)提供了控制器、PHY和驗證IP，稱設(shè)計者可在SoC中用到低功耗更大帶寬的內(nèi)存。新思的DesignWare HBM3控制器與PHY IP基于經(jīng)芯片驗證過的HBM2E IP打造，而HBM3 PHY IP基于5nm制程打造，每個引腳的速率可達7200 Mbps，內(nèi)存帶寬最高可提升至921GB/s。

封裝加成

以上還只是單層HBM的數(shù)據(jù)，通過2.5D封裝堆疊2層或者4層后，內(nèi)存帶寬也將成倍突破。以英偉達的A100加速器為例，英偉達首發(fā)的80GB版本采用了4層HBM2達到了1.6TB/s的帶寬，之后推出了5層HBM2E的版本，進一步將帶寬提高至2TB/s。而這樣的帶寬表現(xiàn)，只需2層HBM3即可實現(xiàn)，四五層的配置更是遠超市面上已有的內(nèi)存規(guī)格。

此外，邏輯+HBM的方法已經(jīng)不新鮮了，已經(jīng)有不少GPU和服務(wù)器芯片都采用了類似的設(shè)計。然而隨著晶圓廠不斷在2.5D封裝技術(shù)上發(fā)力，單個芯片上HBM的數(shù)量也在增加。比如上文中提到的臺積電CoWoS技術(shù)，可在SoC芯片中集成4個以上的HBM，英偉達的P100就集成了4個HBM2，而NEC的Sx-Aurora向量處理器則集成了6個HBM2。

三星也在開發(fā)下一代的I-Cube 2.5D封裝技術(shù)，除了支持集成4到6個HBM以外，也在開發(fā)兩個邏輯晶片+8個HBM的I-Cube 8方案。類似的2.5D封裝技術(shù)還有英特爾的EMIB，但不過HBM主要用于其Agilex FPGA。

結(jié)語

目前美光、三星、SK海力士等內(nèi)存廠商都已經(jīng)在紛紛跟進這一新的DRAM標(biāo)準(zhǔn)，SoC設(shè)計廠商Socionext與新思合作，在其多晶片的設(shè)計中引入HBM3，除了必定支持的x86架構(gòu)外，Arm的Neoverse N2平臺也已計劃了對HBM3的支持，SiFive的RISC-V SoC也加入了HBM3 IP。但即便JEDEC沒有“卡殼”，在年末的關(guān)頭發(fā)布了HBM3正式標(biāo)準(zhǔn)，我們也可能要等到2022年下半年才能見到HBM3相關(guān)產(chǎn)品的面世。

大家都已經(jīng)在不少高性能芯片上見到了HBM2/2E的身影，尤其是數(shù)據(jù)中心應(yīng)用，比如英偉達的Tesla P100/V100、AMD的Radeon Instinct MI25、英特爾的Nervana神經(jīng)網(wǎng)絡(luò)處理器以及谷歌的TPU v2等等。

消費級應(yīng)用卻似乎正在與HBM漸行漸遠，過去還有AMD的Radeon RxVega64/Vega 56以及英特爾的KabyLake-G這樣利用了HBM的圖形產(chǎn)品，再高一級也有英偉達的Quaddro GP100/GV100和AMD的Radeon Pro WX這樣的專業(yè)繪圖GPU。

如今這些產(chǎn)品都用回了GDDR DRAM，畢竟消費級應(yīng)用目前尚未出現(xiàn)帶寬瓶頸，速率和成本反倒才是芯片制造商最看重的，而HBM3在優(yōu)點上提及了更大帶寬更高的功效，卻并沒有降低成本。