電子發(fā)燒友網(wǎng)報(bào)道（文/黃晶晶）2022年11月發(fā)布的GPT-3使用1750億個(gè)參數(shù)，而今年5月發(fā)布的最新版本GPT-4o則使用超過(guò)1.5萬(wàn)億個(gè)參數(shù)。在過(guò)去幾年里，這些大語(yǔ)言模型的規(guī)模增長(zhǎng)了超過(guò)400倍。但我們看到，在相同時(shí)間內(nèi)硬件內(nèi)存的規(guī)模僅增長(zhǎng)了兩倍。

那么要完成這些AI模型的任務(wù)，就必須投入額外數(shù)量的GPU和AI加速器，才能滿足對(duì)內(nèi)存容量和帶寬的需求。同時(shí)內(nèi)存系統(tǒng)也必須不斷升級(jí)。Rambus在內(nèi)存系統(tǒng)領(lǐng)域擁有超過(guò)30年的高性能內(nèi)存系統(tǒng)開(kāi)發(fā)和研究經(jīng)驗(yàn)，一直以來(lái)都是市場(chǎng)的領(lǐng)導(dǎo)者。近日，Rambus研究員兼杰出發(fā)明家Steven Woo博士和Rambus大中華區(qū)總經(jīng)理蘇雷先生接受媒體采訪，分享了Rambus的HBM4控制器IP新品，以及對(duì)內(nèi)存市場(chǎng)的看法。

HBM內(nèi)存技術(shù)演進(jìn)

HBM高性能內(nèi)存具有非常高的帶寬和密度，遠(yuǎn)高于市面上常見(jiàn)的普通DRAM。HBM內(nèi)存非常適用于AI訓(xùn)練、高性能計(jì)算和網(wǎng)絡(luò)應(yīng)用。

Steven Woo博士解析，HBM的DRAM堆棧使用多層堆棧的架構(gòu)，實(shí)現(xiàn)高內(nèi)存帶寬、高容量和高能效。其中一個(gè)內(nèi)存晶片通過(guò)中介層的物理連接，與處理器進(jìn)行相應(yīng)的連接，每個(gè)HBM內(nèi)存設(shè)備與處理器之間的數(shù)據(jù)通路由1024根“線”或信號(hào)路徑組成。上面這些部分共同與一個(gè)基板相連接，最后基板焊接在PCB上面。


他進(jìn)一步指出，隨著命令、地址、時(shí)鐘和其他附加信號(hào)的加入，HBM3所需的信號(hào)路徑數(shù)量增加到約1700條。上千條信號(hào)路徑遠(yuǎn)遠(yuǎn)超出了標(biāo)準(zhǔn)PCB所能支持的范圍。因此，采用硅中介層作為橋梁，將內(nèi)存設(shè)備和處理器連接起來(lái)。類(lèi)似于集成電路，硅中介層上可以蝕刻出間距非常小的信號(hào)路徑，從而實(shí)現(xiàn)所需數(shù)量的信號(hào)線來(lái)滿足HBM接口的要求。正是由于這種精巧的結(jié)構(gòu)設(shè)計(jì)和HBM DRAM的堆疊方式，HBM內(nèi)存才能提供極高的內(nèi)存帶寬、優(yōu)異的能效、極低的延遲，同時(shí)占用最小的面積。

下圖可以看到，不同代際的HBM內(nèi)存在數(shù)據(jù)傳輸速度、單個(gè)堆棧帶寬、堆棧厚度以及最大設(shè)備容量等方面的具體參數(shù)。



可以看到，每一代HBM最明顯變化就是單個(gè)堆棧帶寬的急劇增加。HBM3E單個(gè)設(shè)備的帶寬超過(guò)了1.2TB/s。HBM3設(shè)備正在變得非常流行，主要的DRAM制造商，如SK海力士、美光和三星，已經(jīng)宣布推出HBM3E設(shè)備，數(shù)據(jù)傳輸速率最高可達(dá)9.6Gbps。從單個(gè)堆棧的角度來(lái)看，HBM4的帶寬將達(dá)到1.6TB/s，而這只是單個(gè)堆棧的帶寬，最終的實(shí)際帶寬可能會(huì)更高。隨著行業(yè)推出越來(lái)越快的HBM內(nèi)存器件，Rambus作為內(nèi)存控制器IP提供商，在這一過(guò)程中扮演著重要角色。

Rambus HBM4控制器IP

Rambus最新推出業(yè)內(nèi)首款HBM4控制器IP，可以支持新一代HBM內(nèi)存的部署，適用于最先進(jìn)的處理器，包括AI加速器、圖形處理器和高性能計(jì)算應(yīng)用。

HBM4的控制器IP提供了32個(gè)獨(dú)立通道的接口，總數(shù)據(jù)寬度可達(dá)2048位。基于這一數(shù)據(jù)寬度，當(dāng)數(shù)據(jù)速率為6.4Gbps時(shí)，HBM4的總內(nèi)存吞吐量將比HBM3高出兩倍以上，達(dá)到1.64TB/s。與Rambus的HBM3E控制器一樣，HBM4內(nèi)存控制器IP也是一個(gè)模塊化、高度可配置的解決方案。




根據(jù)客戶(hù)在應(yīng)用場(chǎng)景中的獨(dú)特需求，可提供定制化服務(wù)，涵蓋尺寸、性能和功能等方面。關(guān)鍵的可選功能包括ECC、RMW和錯(cuò)誤清理等。此外，為了確保客戶(hù)能夠根據(jù)需要選擇各種第三方PHY并應(yīng)用于系統(tǒng)中，Rambus與領(lǐng)先的PHY供應(yīng)商開(kāi)展了合作，確保客戶(hù)在開(kāi)發(fā)過(guò)程中能夠一次流片成功。

依托于多年來(lái)在HBM內(nèi)存領(lǐng)域積累的豐富經(jīng)驗(yàn)。在HBM市場(chǎng)上，Rambus的市場(chǎng)份額位居第一，并且已經(jīng)成功完成了超過(guò)100次的HBM設(shè)計(jì)。此前，其成功交付了業(yè)界領(lǐng)先的HBM3E內(nèi)存控制器，以及業(yè)界最高數(shù)據(jù)傳輸速率的HBM2E內(nèi)存控制器，速率達(dá)到每秒4 Gbps。因此，客戶(hù)可以放心選擇Rambus，因?yàn)镽ambus在構(gòu)建成功系統(tǒng)方面擁有多年的經(jīng)驗(yàn)，能夠?yàn)樗麄兲峁┧璧娜轿恢С帧?br />

為了幫助客戶(hù)實(shí)現(xiàn)一次流片成功，Rambus提供的三大支持包括控制器測(cè)試平臺(tái)、驗(yàn)證IP、物理層PHY支持，支持各種第三方PHY。



其IP產(chǎn)品組合提供了高性能芯片和處理器解決方案的核心構(gòu)建模塊，包括HBM和GDDR內(nèi)存控制器、PCIe和CXL協(xié)議控制器，以及后量子密碼學(xué)、Root of Trust和加密等安全功能。


Rambus大中華區(qū)總經(jīng)理蘇雷先生表示，得益于我們?cè)贖BM領(lǐng)域多年的經(jīng)驗(yàn)和專(zhuān)業(yè)知識(shí)，在整個(gè)中華區(qū)，乃至于整個(gè)全球市場(chǎng)份額Rambus都是排名前列。Rambus的HBM控制器IP能夠得到中國(guó)客戶(hù)的認(rèn)可，除了Rambus HBM的技術(shù)先進(jìn)，比如說(shuō)信號(hào)完整性、電源完整性，以及應(yīng)對(duì)其他挑戰(zhàn)等之外，也非常注重售中和售后的服務(wù)。針對(duì)客戶(hù)的項(xiàng)目產(chǎn)品規(guī)格、配置方面我們會(huì)在技術(shù)方面給予一些最佳的建議和參考。幫助客戶(hù)提前規(guī)避一些技術(shù)難題，并且更加快速地推出產(chǎn)品，這對(duì)客戶(hù)來(lái)說(shuō)是非常寶貴的產(chǎn)品附加值。這些都不斷驅(qū)動(dòng)著我們?cè)贖BM領(lǐng)域繼續(xù)保持全球領(lǐng)先。

Rambus HBM4控制器IP現(xiàn)已開(kāi)放授權(quán)，早期設(shè)計(jì)客戶(hù)可立即申請(qǐng)。預(yù)計(jì)客戶(hù)在2025年將其集成到芯片設(shè)計(jì)中，這些芯片設(shè)計(jì)預(yù)計(jì)將在2026年上市。


小結(jié)：

Rambus認(rèn)為未來(lái)的人工智能將繼續(xù)在性能、功效和內(nèi)存容量方面取得重大改進(jìn)。這將需要許多不同的公司共同努力，Rambus 這樣的內(nèi)存IP公司將改進(jìn)內(nèi)存系統(tǒng)，處理器廠商也必須通過(guò)壓縮數(shù)據(jù)和使用新的數(shù)字格式等方式來(lái)改進(jìn)處理。軟件開(kāi)發(fā)人員將來(lái)要與硬件開(kāi)發(fā)人員更多地合作，進(jìn)行軟硬件協(xié)同設(shè)計(jì)。總之合力推動(dòng)AI的應(yīng)用進(jìn)程。