超級計算機被用來建模和模擬科學計算中最復雜的過程，通常是為了洞察新發現，否則這些新發現將不實際或不可能在物理上演示。

NVIDIA BlueField data processing unit （ DPU ）正在將 high-performance computing （ HPC ）資源轉化為更高效的系統，同時加速從數學建模和分子動力學到天氣預報、氣候研究，甚至可再生能源的廣泛科學研究中的問題解決。

圖 1. NVIDIA BlueField DPU 的創新領域

BlueField 已經在 云端網絡 、 網絡安全 、 通信 和 邊緣計算 領域產生了顯著影響。此外，在高性能計算的幾個領域，它正在激發應用程序性能和系統效率方面的創新。

NVIDIA BlueField-3 提供基于多個 Arm AArch64 核的強大計算能力、多線程數據路徑加速器、集成的 NVIDIA ConnectX-7 400Gb/s 網絡 ，以及 I / O 路徑中廣泛的可編程加速引擎。它配備了雙 DDR 6500MT / s DRAM 控制器，并配有高達 32 GB 的板載內存。 BlueField-3 是第三代芯片上數據中心基礎設施，支持從云到核心數據中心再到邊緣的高效、強大的軟件定義、硬件加速基礎設施。

那么，這一切對高性能計算意味著什么呢？

提高 HPC 應用程序性能和可擴展性

HPC 的核心是提高性能和可擴展性。近二十年來， InfiniBand 網絡在性能和應用程序可擴展性方面一直處于領先地位，這有幾個原因。

從高層次來看， InfiniBand 只是移動數據的最有效方式：直接數據放置。不需要涉及 CPU 或操作系統，也不需要在數據從網絡接口通過系統到達需要它的實際應用程序時制作數據的多個副本。

如果 InfiniBand 已經如此高效， BlueField 會帶來什么好處？

InfiniBand 多年來一直在解決的一個關鍵挑戰是將網絡通信開銷從 CPU 移開，使其能夠將時間集中在最擅長的方面：應用程序計算和分支代碼。

當今主流服務器中的 CPU 過于通用，在數百或數千個與實際計算幾乎無關的進程中共享其計算周期、時間和資源。

BlueField 通過卸載、加速和隔離廣泛的高級網絡、存儲和安全服務，為超級計算帶來了前所未有的創新和效率。

為什么人工智能時代帶來了對 BlueField DPU 的需求

人工智能研究領域成立于 1956 年，是一門學術學科。甚至在那之前的十年，科學家們就開始討論創造人工大腦的可能性。隨著現代計算機硬件和軟件的發展，這些概念很晚才成為現實。

2006 年， NVIDIA 推出了業界第一個針對 GPU 的 C 編譯器開發環境 CUDA ，解決復雜計算問題的速度比傳統方法快 100 倍。今天，人工智能豐富多彩，幾乎推動了科學研究的每個領域，改變了我們的生活，塑造了工業景觀。

同樣， 2006 年中期引入了對非阻塞集合操作的第一個建議的引用。消息傳遞接口（ MPI ）的集合組通信功能的非阻塞接口在理論上肯定是豐富的。然而，它并沒有在許多應用程序中實現。也許這是因為，在引入 DPU 之前，無法實現全部好處。

今天，隨著 BlueField-3 的問世，這項技術已經提供了創新、性能和效率所需的基本要素。為了提高應用程序性能和可伸縮性，并消除操作系統抖動的影響，非阻塞集合操作重新引起了人們的興趣。

科學計算還有幾個領域，包括早期的例子， BlueField 正在演示如何將 HPC 轉化為高效和可持續的計算。

使用網絡計算節省 CPU 周期

NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol （SHARP） 技術通過將許多阻塞的集體操作從 CPU 卸載到交換機網絡，并消除了在端點之間多次發送數據的需要，從而提高了 MPI 操作的性能。這種創新的方法減少了到達聚合節點時穿越網絡的數據量，并大大減少了 MPI 操作時間。

BlueField 通過利用其 Arm 內核實現非阻塞操作，擴展了額外的網絡計算能力。這使系統主機 CPU 能夠執行峰值重疊計算。

圖 2 顯示了一個使用 MVAPICH2- DPU 庫的示例，該庫正在進行優化，以充分利用 BlueField 的潛力。它顯示了提取主機上發生的計算與 MPI_Ialltoall 通信之間的峰值重疊的能力。

圖 2.使用 NVIDIA BlueField 技術與非阻塞通信和計算的重疊 全部全部

HPC 工作負載的計算存儲

計算存儲或 in-storage computing 為傳統存儲設備帶來了 HPC 功能。在存儲計算中，您可以在存儲設備內或旁邊執行選定的計算任務，從而減輕主機處理負擔并減少數據移動。 BlueField 提供在單個卡上結合存儲和網絡計算的能力。

BlueField 使存儲軟件堆棧能夠從計算節點卸載，同時作為連接結構的 NVMe 控制器存在，能夠加速關鍵存儲功能，如壓縮、校驗和計算和奇偶校驗生成。此類服務在并行文件系統中提供。

整個存儲系統堆棧在 Linux 內核中透明卸載，同時在 NVMe 目標端實現標準存儲功能的簡單 NVIDIA DOCA 實現。

新一代開放存儲體系結構為加速、隔離和保護高性能存儲系統提供了一種新的范例。該系統采用硬件和軟件協同設計，使得 DPU 對用戶來說非常高效和透明。

文件系統的加速意味著提高存儲系統中關鍵功能的性能，而存儲系統性能是基于深入學習的科學探究的關鍵促成因素。

將存儲客戶端和服務器完全卸載到 DPU 的能力導致以前無法實現的安全和性能隔離級別。關鍵數據平面和控制平面功能移動到 DPU 上的單獨域。這樣可以免除服務器 CPU 的工作，并在 CPU 或其軟件受損的情況下保護功能。

NVIDIA DOCA 軟件框架

NVIDIA DOCA SDK 是釋放 BlueField 潛力的關鍵。 NVIDIA DOCA 和 BlueField 通過一個全面、開放的開發平臺，共同實現了應用程序的開發，這些應用程序可以提供突破性的網絡、安全、存儲和應用程序性能。

NVIDIA DOCA 支持一系列操作系統和發行版，包括驅動程序、庫、工具、文檔和示例應用程序。即將發布的 NVIDIA DOCA 1.5 和 2.0 版本引入了廣泛的網絡、存儲、安全功能和增強功能，為 HPC 開發人員提供突破性的性能和高級編程能力：

一個新的通信通道庫

快速訪問主機內存以實現 UCX 加速

存儲仿真（ SNAP ），包括存儲加密

新的 NVIDIA DOCA 服務，包括 UCC 卸載服務和遙測服務

NVIDIA DOCA 安全 SDK

改造 HPC 的今天和明天

BlueField 、 NVIDIA DOCA 以及社區將繼續改造 HPC 的許多創新領域已經初露端倪。

有些想法已經過時了，例如在數據中心范圍內增強性能隔離，或增強作業調度程序以實現更智能的作業安排。

由于科學應用通常高度同步，系統噪聲對大型 HPC 系統的負面影響可能對性能產生更大的影響。減少存儲等其他過程引起的系統噪音至關重要。

遙測信息功能強大。它不僅僅是收集有關路由器、交換機和網絡流量的信息。相反，可以通過工作負載和 I / O 特性收集和共享信息。

AI 框架精確地調整了 NVIDIA Quantum-2 InfiniBand 平臺中的性能隔離算法。共享公共數據中心資源（如網絡和存儲）的多應用程序環境可以確保盡可能最佳的性能，就像應用程序作為單個實例在裸機上運行一樣。

關于作者

Scot Schultz 是 HPC 技術專家，專注于人工智能和機器學習系統。 Scot 在分布式計算、操作系統、人工智能框架、高速互連和處理器技術方面擁有廣泛的知識。在他的整個職業生涯中，擁有超過 25 年的高性能計算系統經驗，他的職責包括各種工程和領導角色，包括戰略 HPC 技術生態系統支持。 Scot 在眾多行業標準組織的成長和發展中發揮了重要作用。

審核編輯：郭婷