隨著數據集的不斷增長和高性能計算（HPC）資源的增加， HPC系統的使用會有顯著的增長。最大限度地提高這些系統的效率和效益，成為了首要問題。

高性能計算（HPC）在歷史上主要提供給政府、研究機構和少數非常大的公司用于建模、模擬和預測應用。隨著HPC平臺被部署在云端以提供共享服務，高性能計算正變得更容易獲得，這個使用正使所有規模的組織受益。對工業物聯網（IIoT）、人工智能的投資不斷增加。 人工智能，以及電子設計自動化（EDA）和工程開發的硅IP是推動高性能計算系統使用增加的幾個因素。因此，從2020年到2025年，高性能計算市場預計將每年增長超過6%。 有許多類型的應用程序受益于在HPC平臺上運行，比如…
? 詳細的設計模擬，減少產品的開發時間
? 各個行業的高保真建模，包括汽車、醫療和機器人行業
? 工業應用的物理模擬、優化和機器學習
? 金融建模
? 生命科學模擬 一般來說，用于大數據處理、模擬和預測的日益復雜的模型正在推動對更多計算能力和更大存儲容量及性能的需求。 本文強調了不同的存儲技術如何在提供高容量和低延遲存儲的同時最大限度地提高HPC系統的效率和效益，并最大限度地減少網絡帶寬和電力消耗。

HPC存儲系統的挑戰

HPC應用中不斷增加的復雜性和數據集規模為HPC基礎設施帶來了一些挑戰，有以下幾個方面。
? 帶寬。在存儲和計算節點之間移動PB級的數據 ? 容量。系統容量必須擴大，以容納使用中的、短期的和長期的存儲。
? 延遲。數據訪問時間和網絡延遲會大大延長應用程序的運行時間 ? 安全性。大多數HPC數據是專有的和關鍵的業務，因此需要訪問控制、完整性保護和遵從法律法規（針對數據隱私）
? 訪問管理。多節點并行文件系統需要強大的訪問管理，以防止出現計算機競態條件
? 功率：超級計算機已接近100千瓦/架，其中大部分被數據移動所消耗 隨著HPC應用數據集的增長，在數據網絡和設備接口上需要越來越多的帶寬，以便在計算和存儲節點之間移動這些數據。以太網、PCI Express（PCIe）和其他接口技術正在逐步增加帶寬以滿足這一需求。網絡基礎設施從100Gbps到400Gbps以太網的過渡正在順利進行。還有一些800Gbps和1.6Tbps以太網的早期部署也即將到來。存儲設備的數據接口速度也在提高，NVMe固態硬盤采用PCIe 5.0和 6.0，分別利用每車道32Gbps和64Gbps的傳輸速率。 數據創建的快速速度也推動了對增加數據存儲容量的需求。雖然許多被創建的數據是短暫的，沒有被寫入非易失性存儲，但大量的數據被存儲起來供將來使用，這就推動了對增加存儲容量的需求。IDC預測，從2020年到2025年，全世界的存儲容量將以每年19.2%的速度增長，以支持不斷增長的數據創建和存儲。

除了帶寬和容量的改進，還有一些額外的存儲技術正在解決HPC的需求。下面幾節將介紹其中的一些技術。

用于HPC的存儲技術

持久性內存、遠程直接內存訪問（RDMA）和RDMA over converged Ethernet（RoCE）、Non-Volatile Memory Express over Fabrics （NVMe-oF）和計算存儲是最近HPC數據存儲的一些技術創新。

? 持久性內存為內存提供了一個新的價格/性能點，并在HPC系統中實現了一個新的存儲層。

? RDMA和RoCE為訪問遠程存儲設備中的數據提供了一種低延遲、高效率的手段。

? NVMe-oF使用NVMe協議在網絡結構上提供對分類存儲設備的訪問，其延遲與本地存儲設備的延遲相似。

? 計算存儲將計算能力整合到存儲系統中，以減輕計算服務器的負擔，減少必須在存儲和內存/計算之間傳輸的數據量。

持久內存

現代計算系統利用各種不同類型的內存和非易失性存儲來滿足數據在不同階段的需求。這些不同類型的內存和存儲滿足了廣泛的需求， 從非常高速、低延遲、昂貴的緩存內存到相對低速、高延遲、廉價的存檔磁帶。然而，迄今為止，系統主存儲器（DRAM）和NAND閃存之間存在性能、容量和成本差距。使用3D XPoint、BiCS閃存和Z-NAND等技術的持久內存解決了這一差距。（圖2）

持久性存儲器提供的容量接近NAND閃存驅動器，而延遲則接近SDRAM。高容量和低延遲的屬性使持久性內存成為容量和性能要求高的應用的絕佳選擇，如數據庫加速器、建模和模擬、實時分析和AI/深度學習培訓。

RDMA/RoCE

隨著數據集規模的增長，在存儲設備和計算服務器之間移動數據所需的網絡和處理資源也在增加。使用傳統的數據網絡解決方案從 共享存儲到計算服務器應用處理器的數據傳輸需要幾個步驟，如圖3所示。

1. 主機應用服務器通過網絡堆棧發送一個消息，通知存儲服務器所需的數據。

2. 存儲服務器處理器將數據從固態硬盤復制到存儲服務器用戶空間內存的緩沖區。

3. 數據緩沖區從用戶空間復制到存儲服務器內核空間，供網絡接口卡（NIC）驅動程序訪問。

4. 網卡驅動程序將數據緩沖區分割成數據包，并通過網絡將數據傳輸到計算服務器的網卡。

5. 計算服務器網卡將數據存儲在內核內存中，網絡驅動程序將其重新組合并從計算服務器的內核內存復制到用戶空間，供應用程序處理。

所有這些數據拷貝（以及內核模式《--》用戶模式上下文切換）都會消耗存儲服務器和計算服務器的大量處理資源。它們還為數據傳輸操作引入了顯著的延遲。 遠程直接內存訪問，或稱RDMA，使各自計算和存儲服務器中的網卡能夠管理數據傳輸。不需要上下文切換或中間數據拷貝，兩個系統的主機CPU周期都可以釋放出來用于應用處理。主機應用處理器建立連接并通知網卡要傳輸的數據，然后在網卡檢索和傳輸數據時恢復應用處理（圖4）。這種簡化的數據傳輸方法不僅減少了主機CPU的處理負荷，而且還可以將數據傳輸延遲減少一個數量級或更多。應用服務器用戶空間存儲服務。

隨著以太網作為數據中心數據傳輸結構的幾乎普遍部署，一個被稱為RDMA over Converged Ethernet（RoCE）的標準被開發出來，用于在以太網上進行RDMA傳輸。RoCE及其后續的RoCEv2使數據中心運營商能夠在其現有的以太網基礎設施上利用RDMA的優勢。幾乎所有先進的網卡都支持RoCEv2，它已經成為RDMA技術的事實標準。RoCE消除了對專用存儲區域網絡的需求，使數據中心的計算、網絡和存儲資源能 夠部署在一個單一的以太網結構上。

NVMe-oF

NVMe-oF（Non-Volatile Memory Express over Fabric）將NVMe的低延遲優勢擴展到共享存儲基礎設施。當與低延遲的網絡結構（如 RoCE或光纖通道）相結合時，NVMe-oF可以從共享媒體提供數據訪問，其延遲可與本地存儲相媲美，如圖5所示。

計算存儲

另一個減少系統延遲和更有效地利用數據中心資源的機制是將數據處理能力納入存儲系統。通常被稱為計算存儲，將一個微處理器放在存儲設備中或附近，允許主機應用處理器向存儲系統發送特定的參數以返回數據。然后，存儲處理器可以在存儲設備上搜索相關數據，并只將這些數據返回給計算服務器，如圖6所示。

計算存儲節省了大量的網絡帶寬，從應用處理器中卸載了數據處理，并減少了系統的能源消耗。計算存儲的另一個有價值的副作用是，大多數數據被保留在存儲系統中，因此不容易被攔截或數據被盜，從而提高了數據的安全性。 在傳統的計算基礎設施中，所有的計算能力都集中在一個中央處理單元中，當一個應用程序需要一個文件中的特定數據時，它必須從存儲中加載整個文件，在文件中搜索相關數據，執行必要的數據處理，并返回結果，如圖7所示。

存儲網絡工業協會（SNIA）提出了多種方法來實現計算存儲系統。其中一種方法是將一個應用處理器集成到存儲設備中，如下圖8所示。這個嵌入式微處理器按照主機應用處理器的要求處理數據預處理，以分配工作負荷，提高系統效率。

圖8：計算性存儲架構，帶有嵌入式處理器以提供數據處理和卸載

圖9更詳細地介紹了一個帶有閃存控制處理器的計算存儲設備，一個用于數據處理的應用處理器，以及一個可以為元數據創建、對象檢測和分類以及其他存儲加速功能提供神經網絡處理的機器學習處理器。

編輯：黃飛