2022 年 1 月，JEDEC 發(fā)布了新標(biāo)準(zhǔn) JESD238“高帶寬內(nèi)存 (HBM3) DRAM”。與現(xiàn)有的 HBM2E 標(biāo)準(zhǔn) (JESD235D) 相比，HBM3 標(biāo)準(zhǔn)提出了多項(xiàng)增強(qiáng)功能，包括支持更大的密度、更高速運(yùn)算、更高的 Bank 數(shù)、更高的可靠性、可用性、可維護(hù)性 (RAS) 功能、低功耗接口和新的時(shí)鐘架構(gòu)。HBM3 存儲(chǔ)器很快就會(huì)被用于 HPC 應(yīng)用，例如 AI、圖形、網(wǎng)絡(luò)，甚至可能用于汽車。本文重點(diǎn)介紹了 HBM3 標(biāo)準(zhǔn)的一些關(guān)鍵功能，例如高容量、低功耗、改進(jìn)的信道和時(shí)鐘架構(gòu)以及更先進(jìn)的 RAS 選項(xiàng)。圖 1 中突出顯示了一些關(guān)鍵功能。

圖 1：HBM3 與 HBM2E 相比具有多項(xiàng)改進(jìn)，包括更高的容量、更先進(jìn)的 RAS 功能和更低的功耗

更大、更快、更低功耗

HBM2E標(biāo)準(zhǔn)的每個(gè)裸片的最大容量為2GB，每個(gè)堆棧可以放置12層裸片，從而可實(shí)現(xiàn)24GB的最大容量。雖然標(biāo)準(zhǔn)是允許的，但我們尚未看到市場(chǎng)上出現(xiàn)任何 12 層的 HBM2E 堆棧。HBM3 標(biāo)準(zhǔn)支持裸片的最大容量是4GB，以及高達(dá) 16 層的堆棧，總存儲(chǔ)空間可以做到 64 GB，相比HBM2E有近 3 倍的增長(zhǎng)。Synopsys 預(yù)計(jì) 8 層和 12 層堆棧選項(xiàng)中的 16 GB 和 24 GB HBM3 器件很快就會(huì)上市。 為了支持更高密度的器件，HBM3 增加了從 12 層堆棧到 16 層堆棧的可用 Bank 數(shù)，最多提供 64 個(gè) Bank，增加了 16 個(gè) Bank。 HBM3 標(biāo)準(zhǔn)的最高速度為 6.4 Gbps，幾乎是 HBM2E 的最高速度 3.6 Gbps 的兩倍。 在不久的將來，我們有理由期待第二代 HBM3 設(shè)備的出現(xiàn)。只需看看 HBM2/2E、DDR5（6400 Mbps 升級(jí)到 8400 Mbps）和 LPDDR5（最大速度為 6400 Mbps，并快速讓位于以 8533 Mbps 運(yùn)行的 LPDDR5X）的速度歷史記錄，就可見一斑。HBM3 速度高于 6.4 Gbps？這只是時(shí)間問題。 除了提高容量和速度外，HBM3 還一直在專注于提高能效。HBM2E 已經(jīng)提供了最低的傳輸每比特能耗，這主要是由于它是無端接接口，但 HBM3 在 HBM2E 上還有顯著改善。與 HBM2E 的 1.2V 核心電壓相比，HBM3 將核心電壓降低至 1.1V。除了 100mV 內(nèi)核電源壓降外，HBM3 還可將 IO 信號(hào)從 HBM2E 的 1.2V 降低至 400mV。

通道架構(gòu)

HBM2E 將通道定義為 128 位接口，由兩個(gè) 64 位偽通道組成。在從系統(tǒng)訪問內(nèi)存方面，引腳接口基于每個(gè)通道進(jìn)行定義，而設(shè)計(jì)人員則認(rèn)為偽通道是一項(xiàng)關(guān)鍵功能。HBM2E 對(duì)偽通道的突發(fā)長(zhǎng)度為 4 拍，允許以 32 字節(jié)數(shù)據(jù)包（8 字節(jié)寬，每次訪問 4 拍）訪問內(nèi)存，該數(shù)據(jù)包的大小與大多數(shù) GPU 緩存行相當(dāng)。 HBM3 保持 HBM DRAM 的整體接口大小不變，即 1024 位數(shù)據(jù)。然而，該 1024 位接口現(xiàn)在被劃分為 16 個(gè) 64 位通道，更重要的是，被劃分為 32 個(gè) 32 位偽通道。由于偽通道的寬度已減小到 4 字節(jié)，因此對(duì)存儲(chǔ)器的訪問的突發(fā)長(zhǎng)度增加到 8 拍，從而維持用于存儲(chǔ)器訪問的 32 字節(jié)數(shù)據(jù)包大小。 偽通道的數(shù)量翻倍，加上數(shù)據(jù)速率的翻倍提升，HBM3可提供比HBM2E更卓越的性能。

可靠性、可用性、可維護(hù)性 (RAS)

HBM3 沿襲了 HBM2E 的一些特征，例如數(shù)據(jù)總線上的 DBI(ac) 和奇偶校驗(yàn)。命令和地址 (CA) 奇偶校驗(yàn)等其他特征已發(fā)生改變，從命令中的編碼變?yōu)?CA 總線上的單獨(dú)信號(hào)。 HBM3 中 RAS 的最大變化之一是如何處理糾錯(cuò)碼 (ECC)。我們首先來了解一下 ECC 的主機(jī)側(cè)。 HBM2E 為主機(jī)提供了一個(gè)選項(xiàng)，允許 DM 信號(hào)重新用作 ECC 存儲(chǔ)位置，從而啟用邊帶 ECC 實(shí)現(xiàn)。參考 HBM2E 的偽通道大小，這為用戶提供了非常熟悉的 ECC 選項(xiàng)，與 DDR4 ECC DIMM 非常相似 — 支持 64 位數(shù)據(jù)和 8 位 ECC。 HBM3 已通過多種方式改變了這種 ECC 方法。首先是完全移除 DM 信號(hào)。如果系統(tǒng)的目標(biāo)是將少于 32 字節(jié)的數(shù)據(jù)傳輸?shù)酱鎯?chǔ)器，則需要執(zhí)行讀改寫操作，這可能會(huì)對(duì)性能造成不利影響。 從 HBM3 標(biāo)準(zhǔn)中刪除 DM 信號(hào)后，每個(gè)偽通道增加了兩個(gè) ECC 信號(hào)。這并不能為用戶提供與 SECDED ECC 相同的功能，因?yàn)橛脩舯仨氄嬲紤] 32 字節(jié)數(shù)據(jù)（8 拍期間 4 字節(jié)數(shù)據(jù)）和 2 字節(jié)校驗(yàn)位（8 拍期間 2 位數(shù)據(jù)）的整個(gè)數(shù)據(jù)包訪問，以匯編 34 字節(jié)/272 位代碼。 HBM3 標(biāo)準(zhǔn)還考慮了器件側(cè)，要求 HBM3 DRAM 具有片上 ECC。片上 ECC 使用 272 位數(shù)據(jù)字和 32 位校驗(yàn)位構(gòu)建，形成 304 位代碼字。HBM3 DRAM 的數(shù)據(jù)字大小是主機(jī)使用的代碼字大小。現(xiàn)在 HBM3 DRAM 不僅保護(hù)數(shù)據(jù)，還保護(hù)主機(jī)生成的校驗(yàn)位。 HBM3 標(biāo)準(zhǔn)實(shí)時(shí)地提供 ECC 運(yùn)算的結(jié)果。每個(gè)偽通道包括兩個(gè)嚴(yán)重性信號(hào)，當(dāng)從 HBM3 DRAM 讀取時(shí)，這兩個(gè)嚴(yán)重性信號(hào)提供有關(guān)突發(fā)訪問的信息。所提供的信息是四個(gè)回答之一 — 所提供的數(shù)據(jù)沒有錯(cuò)誤，所提供的數(shù)據(jù)更正了單個(gè)錯(cuò)誤，所提供的數(shù)據(jù)更正了多個(gè)錯(cuò)誤，或者所提供的數(shù)據(jù)有未更正的錯(cuò)誤。 當(dāng)器件處于“自刷新”狀態(tài)或主機(jī)發(fā)出“刷新所有 Bank”命令時(shí)，HBM3 DRAM 器件還支持錯(cuò)誤檢查和ECS。ECS 操作的結(jié)果可通過 IEEE 標(biāo)準(zhǔn) 1500 測(cè)試訪問端口 (TAP) 訪問 ECC 透明度寄存器獲得。 HBM3 標(biāo)準(zhǔn)的新 RAS 功能支持刷新管理 (RFM) 或自適應(yīng)刷新管理 (ARFM)。通常，RFM/ARFM 被用作一種有意或無意反擊 Row Hammer 的技術(shù)。當(dāng)重復(fù)訪問 DRAM 行或行區(qū)域會(huì)影響未訪問的附近行時(shí)，會(huì)發(fā)生 Row Hammer，從而影響這些附近行中的數(shù)據(jù)。使用 HBM3 DRAM 中的信息，HBM3 控制器能夠確定何時(shí)需要額外的刷新管理來緩解 Row Hammer。

新的時(shí)鐘架構(gòu)

HBM3 的主要功能之一是新的時(shí)鐘方案。在所有前幾代 HBM 中，從主機(jī)到器件的單個(gè)時(shí)鐘基本上同步了主機(jī)和器件之間的接口。該時(shí)鐘信號(hào) (CK) 用于設(shè)置從主機(jī)傳遞到器件的 CA 信號(hào)的傳輸速率。此外，它還固定了數(shù)據(jù) (DQ) 和數(shù)據(jù)選通 (WDQS/RDQS) 在主機(jī)和器件（寫入）或器件和主機(jī)（讀取）之間傳輸?shù)乃俾省? 在考慮 HBM2E 時(shí)，時(shí)鐘信號(hào)和數(shù)據(jù)選通均以 1.8 GHz 的最大速率運(yùn)行，因此 CA 接口上信息傳輸?shù)淖畲笥行俾逝c數(shù)據(jù)一樣，都為 3.6 Gbps。 HBM3 通過將傳統(tǒng)時(shí)鐘信號(hào)從主機(jī)去耦到器件和數(shù)據(jù)選通信號(hào)來更改時(shí)鐘架構(gòu)。事實(shí)上，雖然 HBM3 中 WDQS 和 RDQS 的全新最大速率為 3.2 GHz，可實(shí)現(xiàn)高達(dá) 6.4 Gbps 的數(shù)據(jù)傳輸速率，但 CK 從主機(jī)到器件的最快速率僅為 1.6 GHz（即使數(shù)據(jù)通道以 6.4 Gbps 運(yùn)行）。 將時(shí)鐘信號(hào)與選通分離，能使時(shí)鐘信號(hào)的運(yùn)行速度大幅度慢于數(shù)據(jù)選通。CA 總線上的最大信息傳輸速率現(xiàn)在為 3.2 Gbps，因?yàn)?CA 時(shí)鐘的最大傳輸速率已限制為 1.6 GHz。雖然 HBM2E 需要 3.6 Gbps 的 CA 傳輸速率，但 HBM3 只需要 3.2 Gbps 的 CA 傳輸速率。

高速內(nèi)部時(shí)鐘

分離 CA 時(shí)鐘和數(shù)據(jù)選通的決定不僅會(huì)影響主機(jī)和器件之間的接口，還會(huì)影響主機(jī)內(nèi)部 HBM3 控制器和 HBM3 PHY 的接口。 在典型主機(jī)內(nèi)，控制器和 PHY 與外部存儲(chǔ)器通信。控制器和 PHY 之間的接口通常使用稱為 DDR PHY 接口 (DFI) 的規(guī)范來實(shí)現(xiàn)。DFI 規(guī)范允許 SoC 設(shè)計(jì)師把通常將系統(tǒng)命令轉(zhuǎn)換為 HBM 命令的 HBM3 控制器和通常將 SoC 上的數(shù)字域轉(zhuǎn)換為主機(jī)到器件接口的模擬域的 HBM3 PHY 的設(shè)計(jì)分開。在 HBM3 控制器和 HBM3 PHY 之間具有已定義的接口，為設(shè)計(jì)師和集成商提供了在數(shù)字（控制器）和模擬 (PHY) 之間拆分設(shè)計(jì)團(tuán)隊(duì)的清晰描述。 在高性能 HBM2E 解決方案中，除了帶寬外，延遲也是控制器和 PHY 的重點(diǎn)。在 HBM2E 系統(tǒng)中，時(shí)鐘和選通以相同頻率運(yùn)行，最高可達(dá) 1.8 GHz。HBM2E 系統(tǒng)的最低延遲解決方案是使用 DFI 1:1 頻率比 – 使控制器、DFI、PHY 和存儲(chǔ)器都在同一 1.8 GHz 時(shí)鐘上運(yùn)行。 新的 HBM3 時(shí)鐘架構(gòu)使用戶能夠在從 HBM2E 遷移到 HBM3 時(shí)專注于低延遲、高性能的解決方案。如上所述，帶 HBM3 的 CA 總線的最高定義頻率為 1.6 GHz，而數(shù)據(jù)選通以 3.2 GHz 運(yùn)行。這使用戶能夠?yàn)?HBM3 控制器和 PHY 實(shí)現(xiàn) DFI 12 頻率比。在這種情況下，控制器、DFI、PHY 和存儲(chǔ)器時(shí)鐘均以 1.6 GHz 運(yùn)行，而選通頻率為 3.2 GHz。這為設(shè)計(jì)師提供了命令和地址接口的 DFI 1:1 頻率比以及數(shù)據(jù)的 DFI 1:2 頻率比，所有這些都最大限度地減少了延遲。

總結(jié)

HBM3 標(biāo)準(zhǔn)提供了優(yōu)于 HBM2E 標(biāo)準(zhǔn)的多項(xiàng)改進(jìn)。有些是預(yù)期的改進(jìn) - 更大、更快和功耗更低的器件，有些是意想不到的 – 信道架構(gòu)變更、RAS 改進(jìn)和更新的時(shí)鐘方法。新標(biāo)準(zhǔn)累計(jì)為用戶提供顯著改善的 HBM 存儲(chǔ)器，用于下一代 SoC。 新思科技提供完善的 HBM3 IP 解決方案，包括控制器、領(lǐng)先工藝節(jié)點(diǎn)中可用的 PHY 以及已驗(yàn)證IP。新思科技是 JEDEC 的活躍成員，幫助推動(dòng)了最新存儲(chǔ)器標(biāo)準(zhǔn)的制定和采用。新思科技的可配置存儲(chǔ)器接口 IP 解決方案可以進(jìn)行定制以滿足 SoC 的確切要求，用于圖形、云計(jì)算、網(wǎng)絡(luò)、AI 等應(yīng)用，甚至是汽車。

審核編輯 ：李倩