自2012年以來，大規(guī)模的AI訓(xùn)練所使用的數(shù)據(jù)集的計(jì)算量以每年10倍的速度增長(zhǎng)。比如在2022年11月ChatGPT的版本參數(shù)是1750億個(gè)，今年3月的版本使用的參數(shù)則達(dá)到1.5萬億個(gè)。隨著AI模型數(shù)據(jù)量、復(fù)雜度在增加，HBM內(nèi)存被徹底帶火。這種高帶寬高速的內(nèi)存十分適合于AI訓(xùn)練場(chǎng)景。最近，內(nèi)存芯片廠商已經(jīng)不約而同地切入HBM3E競(jìng)爭(zhēng)當(dāng)中。內(nèi)存控制器IP廠商Rambus也率先發(fā)布HBM3內(nèi)存控制器產(chǎn)品，應(yīng)對(duì)這一需求的到來。

RambusHBM3控制器

Rambus HBM3內(nèi)存控制器IP可提供高達(dá)9.6 Gbps的性能，可支持HBM3標(biāo)準(zhǔn)的持續(xù)演進(jìn)。相比HBM3 Gen1 6.4 Gbps 的數(shù)據(jù)速率，Rambus HBM3內(nèi)存控制器的數(shù)據(jù)速率提高了50%，總內(nèi)存吞吐量超過1.2 TB/s，適用于推理系統(tǒng)的訓(xùn)練、生成式AI以及其他要求苛刻的數(shù)據(jù)中心工作負(fù)載。它支持HBM3以及包括被命名為HBM3E的內(nèi)存設(shè)備。

HBM3子系統(tǒng)包含HBM3控制器以及HBM3 PHY（物理層）。Rambus提供的控制器可以跟合作伙伴所提供的PHY來共同應(yīng)用在這些內(nèi)存組件上。如下圖所示。



Rambus 接口IP產(chǎn)品管理和營(yíng)銷副總裁Joe Salvador先生表示，Rambus提供的是一整套完整的經(jīng)過驗(yàn)證的解決方案， HBM3控制器不僅作為獨(dú)立的產(chǎn)品，而且能夠跟市面上目前比較常見的HBM3以及相關(guān)的內(nèi)存模組進(jìn)行匹配，像是與SK海力士、美光、三星等廠商完成了一整套的測(cè)試。另外，還經(jīng)過了第三方來自西門子Avery的驗(yàn)證IP。并且與很多第三方PHY（物理層）也都是完全兼容的。



在此不得不提的是，早前Rambus將PHY IP業(yè)務(wù)出售給了Cadence。而在Joe Salvador看來這一戰(zhàn)略性地出售，是與Rambus的商業(yè)生態(tài)有關(guān)。

他表示，我們的PHY業(yè)務(wù)當(dāng)時(shí)發(fā)展也非常好，但是我們的控制器IP是提供給包括Cadence以及其他的PHY IP合作伙伴。當(dāng)我們把PHY的業(yè)務(wù)出售給Cadence以后，可以幫助我們更好地去跟其他的PHY合作伙伴合作，因?yàn)槲覀円呀?jīng)不構(gòu)成跟他們直接的競(jìng)爭(zhēng)關(guān)系，而是成為很好的上下游的合作伙伴關(guān)系。控制器IP可以跟客戶所選擇的PHY進(jìn)行很好的結(jié)合，并且都是能夠通過大量的測(cè)試和驗(yàn)證，盡可能都保證一次流片成功，這對(duì)于客戶來說是很大的價(jià)值。

Rambus接口IP的產(chǎn)品組合集中供貨給數(shù)據(jù)中心市場(chǎng)以及人工智能和邊緣計(jì)算。在內(nèi)存控制器方面，Rambus所支持的內(nèi)存類型包括DDR、LPDDR、GDDR以及HBM。而在接口IP所提供的互聯(lián)控制器，可以支持CXL、PCIe以及MIPI。同時(shí)還提供視頻壓縮的IP，可以應(yīng)用在MIPI以及DP（DisplayPort）接口。



此外，Rambus還提供最廣泛的安全I(xiàn)P產(chǎn)品組合以及解決方案。特別是隨著AI的發(fā)展，數(shù)據(jù)安全引來越來越多的關(guān)注。Rambus 大中華區(qū)總經(jīng)理蘇雷先生表示，Rambus提供安全I(xiàn)P全套方案可以為AI的安全保駕護(hù)航，這跟Rambus公司的使命，“讓數(shù)據(jù)傳輸更快、更安全”不謀而合。

HBM內(nèi)存控制器的設(shè)計(jì)挑戰(zhàn)與Rambus的優(yōu)勢(shì)

HBM內(nèi)存控制器的設(shè)計(jì)面臨諸多挑戰(zhàn)，首先是對(duì)于總體架構(gòu)設(shè)計(jì)的復(fù)雜度和了解程度。Rambus已經(jīng)有多年的設(shè)計(jì)控制器經(jīng)驗(yàn)，其中包括HBM、GDDR、LPDDR以及DDR。

“正是因?yàn)檫@多年的經(jīng)驗(yàn)，使得我們所設(shè)計(jì)出來的內(nèi)存控制器可以做到性能高、功耗低，而且對(duì)于客戶來說成本也相對(duì)較低。”Joe Salvador說道。

其次，Rambus擁有多年跟主流內(nèi)存廠商合作的經(jīng)驗(yàn)，把內(nèi)存組件納入到控制器的兼容性、以及相關(guān)的性能測(cè)試環(huán)節(jié)當(dāng)中進(jìn)行驗(yàn)證。同時(shí)，在進(jìn)行架構(gòu)設(shè)計(jì)時(shí)已經(jīng)留足了一定的自定義配置空間，這樣可以根據(jù)客戶不同需求來選擇相應(yīng)的控制器。

另外，Rambus多年以來所構(gòu)建的測(cè)試環(huán)境和驗(yàn)證環(huán)節(jié)，是跟許多的物理層提供商的合作伙伴共同去搭建的。那么控制器和物理層能夠很好地集成在一起保持兼容，從而使得客戶的子系統(tǒng)設(shè)計(jì)更容易成功。

應(yīng)用領(lǐng)域不只于AI

值得注意的是，從規(guī)格的角度上來講，目前所說的HBM3E還不是正式的行業(yè)標(biāo)準(zhǔn)規(guī)格。Joe Salvador說，，雖然英偉達(dá)H200已宣稱采用了HBM3E，幾家主流的內(nèi)存廠商也都發(fā)布了HBM3E的內(nèi)存，但實(shí)際上指的是9.6Gbps的HBM3。對(duì)于后續(xù)HBM4的規(guī)格和標(biāo)準(zhǔn)，目前業(yè)界有許多預(yù)測(cè)，Rambus也在進(jìn)行相應(yīng)的研究，會(huì)繼續(xù)努力保持在HBM技術(shù)領(lǐng)域的行業(yè)領(lǐng)先地位。

至于HBM的應(yīng)用領(lǐng)域，未來將不限于在數(shù)據(jù)中心、高性能計(jì)算方面。Joe Salvador表示，現(xiàn)在已經(jīng)有一些顯卡在使用HBM內(nèi)存，暫時(shí)還不是主流。另外，HBM也可能會(huì)進(jìn)入汽車行業(yè)，盡管目前還沒有看到哪家公司推出經(jīng)過驗(yàn)證的車規(guī)級(jí)芯片使用HBM內(nèi)存，但前景可期。