AI時(shí)代,HBM掀起存儲(chǔ)芯片新浪潮
2022年末,ChatGPT的面世無(wú)疑成為了引領(lǐng)人工智能浪潮的標(biāo)志性事件,宣告著新一輪科技革命的到來(lái)。
從ChatGPT掀起的一片浪花,到無(wú)數(shù)大模型席卷全球浪潮,再到今年的Sora火爆全網(wǎng),人工智能的浪潮一浪高過(guò)一浪。
在這波浪潮中,伴隨著人才、數(shù)據(jù)、算力的不斷躍級(jí),人工智能產(chǎn)業(yè)正展現(xiàn)出巨大的潛力和應(yīng)用前景,正在多個(gè)領(lǐng)域展現(xiàn)出重要作用。
AI的快速發(fā)展對(duì)算力的需求呈現(xiàn)井噴的態(tài)勢(shì),全球算力規(guī)模超高速增長(zhǎng)。國(guó)際數(shù)據(jù)公司IDC、浪潮信息等聯(lián)合發(fā)布的《2022-2023全球計(jì)算力指數(shù)評(píng)估報(bào)告》預(yù)測(cè),全球AI計(jì)算市場(chǎng)規(guī)模將從2022年的195億美元增長(zhǎng)到2026年的346.6億美元。
巨大的生產(chǎn)潛力下,以GPU為代表的AI芯片供應(yīng)商在市場(chǎng)上獨(dú)孤求敗,無(wú)論是股票市值還是公司業(yè)績(jī),頭部AI企業(yè)漲幅領(lǐng)跑全球市場(chǎng),迎來(lái)了有史以來(lái)最強(qiáng)勁的增長(zhǎng)態(tài)勢(shì)。
GPU繁榮背后,HBM同樣炙手可熱
AI熱潮造就GPU繁榮的同時(shí),也讓扮演關(guān)鍵角色的HBM熱度高居不下,成為當(dāng)前AI賽道的新興爆發(fā)風(fēng)口。
HBM,全稱為High Bandwidth Memory,即高帶寬存儲(chǔ)器,是一款新型基于3D堆棧工藝的高性能DRAM,其實(shí)就是將很多個(gè)DDR芯片堆疊在一起后和GPU封裝在一起,實(shí)現(xiàn)大容量,高位寬的DDR組合陣列。
圖:AMD官網(wǎng)
與傳統(tǒng)DRAM芯片相比,HBM具有高帶寬、高容量、低延時(shí)與低功耗等優(yōu)勢(shì),可以加快AI數(shù)據(jù)處理速度。
憑借這些優(yōu)勢(shì),HBM能夠?qū)崿F(xiàn)大模型時(shí)代的高算力、大存儲(chǔ)的現(xiàn)實(shí)需求,在所有存儲(chǔ)芯片中,HBM被看作是最適用于AI訓(xùn)練、推理的存儲(chǔ)芯片,是AI性能提升的關(guān)鍵。
據(jù)了解,HBM主要是通過(guò)硅通孔(TSV)工藝進(jìn)行芯片堆疊,以增加吞吐量并克服單一封裝內(nèi)帶寬的限制,將數(shù)個(gè)DRAM裸片像樓層一樣垂直堆疊。相較傳統(tǒng)封裝方式,TSV技術(shù)能夠縮減30%體積,并降低50%能耗。
同時(shí),也正是基于Interposer中介層互聯(lián)實(shí)現(xiàn)了近存計(jì)算,以及TSV工藝的堆疊技術(shù),也讓更大的模型,更多的參數(shù)留在離核心計(jì)算更近的地方,從而減少內(nèi)存和存儲(chǔ)解決方案帶來(lái)的延遲。
從技術(shù)角度看,HBM使得DRAM從傳統(tǒng)2D轉(zhuǎn)變?yōu)榱Ⅲw3D,充分利用空間、縮小面積,正契合半導(dǎo)體行業(yè)小型化、集成化的發(fā)展趨勢(shì)。HBM突破了內(nèi)存容量與帶寬瓶頸,被視為新一代DRAM解決方案,業(yè)界認(rèn)為這是DRAM通過(guò)存儲(chǔ)器層次結(jié)構(gòu)的多樣化開(kāi)辟一條新的道路,革命性提升DRAM的性能。
隨著存儲(chǔ)數(shù)據(jù)量激增,市場(chǎng)對(duì)于HBM的需求將有望大幅提升。
從技術(shù)迭代上看,自2014年全球首款硅通孔HBM產(chǎn)品問(wèn)世以來(lái),HBM已經(jīng)從HBM1、HBM2、HBM2E,發(fā)展至目前被業(yè)界認(rèn)為成為市場(chǎng)主流的HBM3,甚至HBM3E。
最初的HBM1為4層die堆疊,提供128GB/s帶寬,4GB內(nèi)存,顯著優(yōu)于同期GDDR5;
HBM2于2016年發(fā)布,2018年正式推出,為4層DRAM die,現(xiàn)在多為8層die,提供256GB/s帶寬,2.4Gbps傳輸速度和8GB內(nèi)存;
HBM2E于2018年發(fā)布,于2020年正式提出,在傳輸速度和內(nèi)存等方面均有較大提升,提供3.6Gbps傳輸速度和16GB內(nèi)存;
HBM3于2020年發(fā)布,2022年正式推出,堆疊層數(shù)及管理通道數(shù)均有增加,提供6.4Gbps傳輸速度和16GB內(nèi)存;
第五產(chǎn)品HBM3E,提供供高達(dá)8Gbps的傳輸速度和24GB容量,計(jì)劃于2024年大規(guī)模量產(chǎn)。
圖源:Rambus
近段時(shí)間來(lái),全球多個(gè)科技巨頭都在競(jìng)購(gòu)第五代高帶寬內(nèi)存HBM3E。自2024年起,市場(chǎng)關(guān)注焦點(diǎn)即由HBM3轉(zhuǎn)向HBM3e,預(yù)計(jì)下半年將逐季放量,并逐步成為HBM市場(chǎng)主流。
對(duì)于接下來(lái)的規(guī)劃和技術(shù)發(fā)展方向,業(yè)界旨在突破目前HBM在速度、密度、功耗、占板空間等方面的極限。
過(guò)去幾年來(lái),HBM產(chǎn)品帶寬增加了數(shù)倍,目前已接近或達(dá)到1TB/秒的里程碑節(jié)點(diǎn)。相較于同期內(nèi)其他產(chǎn)品僅增加兩三倍的帶寬增速,HBM的快速發(fā)展歸功于存儲(chǔ)器制造商之間的競(jìng)爭(zhēng)和比拼。
下一代HBM4有望于2025-2026年推出。隨著客戶對(duì)運(yùn)算效能要求的提升,HBM4在堆棧的層數(shù)上,除了現(xiàn)有的12hi(12層)外,也將再往16hi(16層)發(fā)展,更高層數(shù)也預(yù)估帶動(dòng)新堆棧方式hybrid bonding的需求。HBM4 12hi產(chǎn)品將于2026年推出,而16hi產(chǎn)品則預(yù)計(jì)于2027年問(wèn)世。
HBM芯片,AI時(shí)代的“金礦”
HBM突破了內(nèi)存容量與帶寬瓶頸,可以為GPU提供更快的并行數(shù)據(jù)處理速度,打破“內(nèi)存墻”對(duì)算力提升的桎梏。
憑借諸多優(yōu)勢(shì),HBM成為AI時(shí)代的“新寵”,受到各大廠商的追捧,市場(chǎng)需求強(qiáng)勁。
首先,AI服務(wù)器的需求會(huì)在近兩年爆增,如今在市場(chǎng)上已經(jīng)出現(xiàn)了快速的增長(zhǎng)。AI服務(wù)器可以在短時(shí)間內(nèi)處理大量數(shù)據(jù),GPU可以讓數(shù)據(jù)處理量和傳輸速率的大幅提升,讓AI服務(wù)器對(duì)帶寬提出了更高的要求,HBM基本成為了AI服務(wù)器的標(biāo)配。比如,AMD的MI300X、MI300A、MI250、MI250X等系列GPU已成為AI服務(wù)器市場(chǎng)的主流產(chǎn)品,這些GPU基本都配備了HBM。
并且AI浪潮還在愈演愈烈,HBM今后的存在感或許會(huì)越來(lái)越強(qiáng)。據(jù)semiconductor-digest預(yù)測(cè),到2031年,全球HBM市場(chǎng)預(yù)計(jì)將從2022年的2.93億美元增長(zhǎng)到34.34億美元,在2023-2031年的預(yù)測(cè)期內(nèi)復(fù)合年增長(zhǎng)率為31.3%。
這樣的市場(chǎng)表現(xiàn),無(wú)疑證明了HBM在市場(chǎng)上的巨大潛力。它不僅僅是一種存儲(chǔ)芯片,更是AI時(shí)代的“金礦”。
除了AI服務(wù)器,汽車(chē)也是HBM值得關(guān)注的應(yīng)用領(lǐng)域。汽車(chē)中的攝像頭數(shù)量,所有這些攝像頭的數(shù)據(jù)速率和處理所有信息的速度都是天文數(shù)字,想要在車(chē)輛周?chē)焖賯鬏敶罅繑?shù)據(jù),HBM具有很大的帶寬優(yōu)勢(shì)。
另外,AR和VR也是HBM未來(lái)將發(fā)力的領(lǐng)域。因?yàn)閂R和AR系統(tǒng)需要高分辨率的顯示器,這些顯示器需要更多的帶寬來(lái)在 GPU 和內(nèi)存之間傳輸數(shù)據(jù)。而且,VR和AR也需要實(shí)時(shí)處理大量數(shù)據(jù),這都需要HBM的超強(qiáng)帶寬來(lái)助力。
此外,智能手機(jī)、平板電腦、游戲機(jī)和可穿戴設(shè)備的需求也在不斷增長(zhǎng),這些設(shè)備需要更先進(jìn)的內(nèi)存解決方案來(lái)支持其不斷增長(zhǎng)的計(jì)算需求,HBM也有望在這些領(lǐng)域得到增長(zhǎng)。并且,5G 和物聯(lián)網(wǎng) (IoT) 等新技術(shù)的出現(xiàn)也進(jìn)一步推動(dòng)了對(duì)HBM的需求。
整體來(lái)看,隨著人工智能、機(jī)器學(xué)習(xí)、高性能計(jì)算、數(shù)據(jù)中心、自動(dòng)駕駛、AR/VR等應(yīng)用市場(chǎng)的興起,內(nèi)存產(chǎn)品設(shè)計(jì)的復(fù)雜性正在快速上升,并對(duì)帶寬提出了更高的要求,不斷上升的寬帶需求持續(xù)驅(qū)動(dòng)HBM發(fā)展。相信未來(lái),存儲(chǔ)巨頭們將會(huì)持續(xù)發(fā)力、上下游廠商相繼入局,讓HBM得到更快的發(fā)展和更多的關(guān)注。
據(jù)市場(chǎng)研究機(jī)構(gòu)TrendForce預(yù)測(cè),2023年全球搭載HBM總?cè)萘繉⑦_(dá)2.9億GB,同比增長(zhǎng)近60%。到2027年,HBM市場(chǎng)預(yù)計(jì)將以82%的復(fù)合年增長(zhǎng)率保持增長(zhǎng),未來(lái)市場(chǎng)前景非常廣闊。
在2023年的市場(chǎng)風(fēng)云中,存儲(chǔ)芯片市場(chǎng)持續(xù)低迷,HBM如同一股清流逆流而上,照亮了存儲(chǔ)行業(yè)的前行之路,成為存儲(chǔ)巨頭在下行行情中對(duì)業(yè)績(jī)的重要扭轉(zhuǎn)力量,也是產(chǎn)業(yè)鏈上常提及的高頻詞。
當(dāng)以AI GPU為代表的相關(guān)各類需求如潮水般洶涌而至,由于英偉達(dá)和AMD等AI芯片制造商的需求激增,HBM價(jià)格逆勢(shì)上揚(yáng),成為了行業(yè)的“香餑餑”。
方正證券報(bào)告指出,從成本端來(lái)看,HBM平均售價(jià)至少是DRAM三倍;而此前受ChatGPT的拉動(dòng)同時(shí)受限產(chǎn)能不足,供不應(yīng)求成為現(xiàn)狀,HBM價(jià)格一路上漲。
2023年,HBM平均售價(jià)“逆勢(shì)暴漲”500%。2024年,HBM依舊“狀態(tài)火熱”。
擴(kuò)產(chǎn),HBM廠商的主旋律
受生成式AI大模型等領(lǐng)域的驅(qū)動(dòng),HBM逐漸發(fā)展成為新興熱門(mén)產(chǎn)業(yè)之一,隨著上游客戶不斷發(fā)出新的需求,目前HBM市場(chǎng)正釋放出供不應(yīng)求的信號(hào)。
在此現(xiàn)狀和趨勢(shì)下,HBM產(chǎn)能緊張的問(wèn)題日益凸顯,正釋放出供不應(yīng)求的信號(hào)。很多高性能GPU的產(chǎn)能上不來(lái),很大程度上就是因?yàn)镠BM不夠用了。
日前,美光科技CEO Sanjay Mehrotra 在財(cái)報(bào)電話會(huì)議上表示,AI 服務(wù)器需求正推動(dòng) HBM DDR5 和數(shù)據(jù)中心 SSD 快速成長(zhǎng),這使得高階 DRAM、NAND 供給變得吃緊,進(jìn)而對(duì)儲(chǔ)存終端市場(chǎng)報(bào)價(jià)帶來(lái)正面連鎖效應(yīng)。同時(shí)強(qiáng)調(diào)道:“美光今年HBM產(chǎn)能已銷(xiāo)售一空,且2025年絕大多數(shù)產(chǎn)能已被預(yù)訂。”
不難猜測(cè),在此情形下,其他HBM供應(yīng)商例如SK海力士和三星電子的產(chǎn)能估計(jì)也會(huì)變得緊張。
對(duì)此,生產(chǎn)和擴(kuò)產(chǎn)成了HBM提供商的主旋律。
據(jù)報(bào)道,包括美光科技在內(nèi)的頭部存儲(chǔ)原廠正在追加投資HBM產(chǎn)線,擴(kuò)大HBM目標(biāo)產(chǎn)能,以應(yīng)對(duì)市場(chǎng)的旺盛需求。同時(shí),大廠們繼續(xù)埋頭攻破技術(shù)壁壘,以迅速抓住市場(chǎng)新機(jī)遇,力求在下一代標(biāo)準(zhǔn)中掌握主導(dǎo)權(quán)。
預(yù)計(jì)今年各大制造商在HBM領(lǐng)域?qū)?huì)有更多舉措,屬于HBM市場(chǎng)的一場(chǎng)爭(zhēng)奪戰(zhàn)正式開(kāi)啟。
然而,即便是在這樣的擴(kuò)產(chǎn)計(jì)劃下,HBM的供應(yīng)仍然難以滿足市場(chǎng)的需求。市場(chǎng)研究公司Yole表示,受到生產(chǎn)擴(kuò)張難度和需求激增的雙重影響,2023-2028年間,HBM供應(yīng)的年復(fù)合增長(zhǎng)率將達(dá)到45%。這意味著,在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi),HBM的價(jià)格都將保持高位。
從性能來(lái)看,HBM無(wú)疑是出色的,其在數(shù)據(jù)傳輸?shù)乃俾省捯约懊芏壬隙加兄薮蟮膬?yōu)勢(shì)。不過(guò),目前HBM仍主要應(yīng)用于服務(wù)器、數(shù)據(jù)中心等應(yīng)用領(lǐng)域,其最大的限制條件在于成本,對(duì)成本比較敏感的消費(fèi)領(lǐng)域而言,HBM的使用門(mén)檻仍較高。因此HBM當(dāng)前市場(chǎng)份額還比較低,但隨著多領(lǐng)域需求的提升,未來(lái)HBM市場(chǎng)將會(huì)呈現(xiàn)爆發(fā)式的增長(zhǎng)。
根據(jù)TrendForce預(yù)估,2024年全球HBM的位元供給有望增長(zhǎng)105%,市場(chǎng)規(guī)模也有望于今年達(dá)89億美元,同比增長(zhǎng)127%,預(yù)計(jì)至2026年市場(chǎng)規(guī)模將達(dá)127.4億美元,對(duì)應(yīng)CAGR約37%。
以規(guī)格而言,伴隨AI芯片需要更高的效能,HBM主流也將在2024年移轉(zhuǎn)至HBM3與HBM3E。整體而言,在需求位元提高以及HBM3與HBM3E平均銷(xiāo)售價(jià)格高于前代產(chǎn)品的情形下,2024年HBM營(yíng)收可望有顯著的成長(zhǎng)。
存儲(chǔ)回暖,HBM加速
目前消費(fèi)電子已出現(xiàn)復(fù)蘇信號(hào),行業(yè)新的轉(zhuǎn)機(jī)正在孕育生成,AI催生存力新需求,2024年存儲(chǔ)市場(chǎng)有望迎來(lái)新的轉(zhuǎn)機(jī)。
在供應(yīng)鏈庫(kù)存水位已大幅改善和需求回溫的態(tài)勢(shì)下, 客戶為避免供貨短缺及成本墊高的風(fēng)險(xiǎn), 持續(xù)增加采購(gòu)訂單。
據(jù)TrendForce數(shù)據(jù)預(yù)測(cè),2024年一季度受惠訂單規(guī)模持續(xù)放大,激勵(lì)DRAM合約價(jià)季漲幅約13~18%,NAND Flash則是18-23%。
NAND Flash合約價(jià)平均漲幅高達(dá)25%;觀察2024年第一季DRAM市場(chǎng)趨勢(shì),原廠目標(biāo)仍為改善獲利,漲價(jià)意圖強(qiáng)烈,促使DRAM合約價(jià)季漲幅近兩成。
展望第二季度,雖然目前市場(chǎng)對(duì)整體需求看法仍屬保守,但DRAM與NAND Flash供應(yīng)商已分別在2023年第四季下旬,以及2024年第一季調(diào)升產(chǎn)能利用率,加上NAND Flash買(mǎi)方也早在第一季將陸續(xù)完成庫(kù)存回補(bǔ)。因此,DRAM、NAND Flash第二季合約價(jià)季漲幅皆收斂至3~8%。
存儲(chǔ)芯片市場(chǎng)價(jià)格的反彈信號(hào),讓行業(yè)人士看到了“曙光”。
而隨著HBM的興起,將成為半導(dǎo)體和算力行業(yè)未來(lái)新的增長(zhǎng)點(diǎn),HBM無(wú)疑將繼續(xù)引領(lǐng)存儲(chǔ)行業(yè)的新篇章。而那些能夠在這個(gè)領(lǐng)域立足并不斷創(chuàng)新的公司,也將會(huì)迎來(lái)更加廣闊的發(fā)展空間和機(jī)遇。
據(jù)WSTS預(yù)測(cè),2024年存儲(chǔ)芯片市場(chǎng)漲幅達(dá)44.8%。
過(guò)去兩年來(lái),在存儲(chǔ)市場(chǎng)下行時(shí)期,HBM作為行業(yè)的中流砥柱異軍突起,為行業(yè)疲態(tài)“雪中送炭”;而如今,隨著存儲(chǔ)行業(yè)觸底反彈,優(yōu)勢(shì)傍身的HBM在產(chǎn)業(yè)搶購(gòu)與擴(kuò)產(chǎn)聲中,再次掀起存儲(chǔ)芯片的發(fā)展新浪潮,為其增勢(shì)“錦上添花”。
展望未來(lái),隨著AI技術(shù)的不斷進(jìn)步和應(yīng)用場(chǎng)景的拓展,HBM的需求將會(huì)持續(xù)增長(zhǎng)。而國(guó)際存儲(chǔ)芯片大廠們也在積極布局,加大產(chǎn)能擴(kuò)張力度,以應(yīng)對(duì)市場(chǎng)的挑戰(zhàn)。同時(shí),隨著HBM技術(shù)的不斷成熟和應(yīng)用領(lǐng)域的拓展,其成本也有望逐漸降低,從而進(jìn)一步推動(dòng)其在市場(chǎng)上的普及和應(yīng)用。
審核編輯:劉清
-
人工智能
+關(guān)注
關(guān)注
1805文章
48833瀏覽量
247343 -
存儲(chǔ)芯片
+關(guān)注
關(guān)注
11文章
931瀏覽量
44010 -
HBM
+關(guān)注
關(guān)注
1文章
409瀏覽量
15151 -
ai技術(shù)
+關(guān)注
關(guān)注
1文章
1307瀏覽量
25049 -
ChatGPT
+關(guān)注
關(guān)注
29文章
1588瀏覽量
8855
原文標(biāo)題:【行業(yè)聚焦】AI時(shí)代,HBM掀起存儲(chǔ)芯片新浪潮
文章出處:【微信號(hào):艾睿電子,微信公眾號(hào):艾睿電子】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
愛(ài)立信攜手合作伙伴共赴移動(dòng)連接新浪潮
英偉達(dá)加速認(rèn)證三星新型AI存儲(chǔ)芯片
AI時(shí)代核心存力HBM(上)

存儲(chǔ)芯片的基礎(chǔ)知識(shí)

評(píng)論