作者：Tawfeeq Ahmad

2024-12-27

計(jì)算密集型應(yīng)用程序的快速發(fā)展提高了對(duì)更快、更高效和可擴(kuò)展的網(wǎng)絡(luò)解決方案的需求。為滿足這一需求而出現(xiàn)的最具創(chuàng)新性的技術(shù)之一是基于融合以太網(wǎng)的遠(yuǎn)程直接內(nèi)存訪問 (RDMA) (RoCE)。這項(xiàng)突破性技術(shù)促進(jìn)了系統(tǒng)之間的直接數(shù)據(jù)傳輸，無需 CPU 干預(yù)，從而顯著減少延遲并提高整體系統(tǒng)性能。[愛波]一家著名的 FPGA 設(shè)計(jì)公司處于這一進(jìn)步的最前沿，通過將 AMD 的 ERNIC IP（以太網(wǎng) RDMA 網(wǎng)絡(luò)接口控制器知識(shí)產(chǎn)權(quán)）集成到其嵌入式計(jì)算模塊產(chǎn)品組合中，實(shí)現(xiàn)了強(qiáng)大的 100G 以太網(wǎng)解決方案。這種集成旨在增強(qiáng)高性能應(yīng)用程序中的 RDMA 功能。

了解融合以太網(wǎng)上的 RDMA (RoCE)

RDMA 是一項(xiàng)關(guān)鍵技術(shù)，可有效繞過 CPU，在主機(jī)或服務(wù)器之間實(shí)現(xiàn)直接內(nèi)存?zhèn)鬏敗４斯δ苁?CPU 能夠?qū)Ｗ⒂趹?yīng)用程序執(zhí)行和數(shù)據(jù)處理，從而顯著提高網(wǎng)絡(luò)性能，其特點(diǎn)是減少延遲、降低 CPU 負(fù)載和增加帶寬，所有這些都以經(jīng)濟(jì)高效的方式進(jìn)行。 RoCE 是一種特定的網(wǎng)絡(luò)協(xié)議，旨在促進(jìn)以太網(wǎng)上的 RDMA 操作。通過利用現(xiàn)有的以太網(wǎng)基礎(chǔ)設(shè)施，RoCE 為希望在不徹底改變當(dāng)前網(wǎng)絡(luò)設(shè)置的情況下提高性能的組織提供了一個(gè)有吸引力的選擇。

RoCE 的類型

根據(jù)使用的網(wǎng)絡(luò)適配器，RoCE 分為兩個(gè)不同的版本：RoCE v1 和 RoCE v2。

1. RoCE v1 ：該協(xié)議允許位于同一以太網(wǎng)廣播域 (VLAN) 內(nèi)的兩臺(tái)主機(jī)之間進(jìn)行通信。它利用 Ethertype 0x8915 并將標(biāo)準(zhǔn)以太網(wǎng)幀限制為 1500 字節(jié)，同時(shí)允許以太網(wǎng)巨型幀擴(kuò)展到 9000 字節(jié)。
2. RoCE v2 ：為了解決 RoCE v1 的限制，RoCE v2 通過合并 IP 和 UDP 標(biāo)頭引入了數(shù)據(jù)包封裝增強(qiáng)功能。此修改使 RoCE v2 能夠跨第 2 層（數(shù)據(jù)鏈路層）和第 3 層（網(wǎng)絡(luò)層）網(wǎng)絡(luò)無縫運(yùn)行，從而支持跨多個(gè)子網(wǎng)的第 3 層路由和可擴(kuò)展性。 RoCE v2 通常稱為可路由 RoCE (RRoCE)，還增加了對(duì) IP 組播的支持，進(jìn)一步拓寬了其適用性。

ERNIC IP：增強(qiáng)RDMA能力

ERNIC（支持嵌入式 RDMA 的 NIC）IP 是可定制的以太網(wǎng) RDMA 網(wǎng)絡(luò)接口控制器 IP 核，旨在與 AMD FPGA、MPSoC 和軟 MAC IP 實(shí)現(xiàn)無縫集成。該解決方案的特點(diǎn)是高吞吐量、低延遲以及基于標(biāo)準(zhǔn)以太網(wǎng)的完全硬件卸載、可靠的數(shù)據(jù)傳輸機(jī)制。 iWave 通過成功實(shí)施 100G 以太網(wǎng)解決方案體現(xiàn)了其對(duì)技術(shù)進(jìn)步的承諾。這一成就是通過利用 iWave 的[Zynq UltraScale+ MPSoC 支持的開發(fā)套件]實(shí)現(xiàn)的，該開發(fā)套件集成了 AMD 的 ERNIC IP。

Zynq UltraScale+ MPSoC 開發(fā)套件專為采用高速 QSFP-28 連接器進(jìn)行原型設(shè)計(jì)和評(píng)估 100G 以太網(wǎng)解決方案而定制。

演示設(shè)置

典型的演示設(shè)置（圖 2）包括：

• iWave 的 Zynq UltraScale+ MPSoC ZU19EG 供電開發(fā)套件
• [研華] [Mellanox ConnectX-5 100G 網(wǎng)卡]
• 同步 1588 PTP 啟用 1G 網(wǎng)卡
• MTP 電纜、[QSFP-28 模塊]和[CAT6 RJ45 以太網(wǎng)電纜]
• Ubuntu 22.04 服務(wù)器電腦

圖 2：Zynq UltraScale+ MPSoC 開發(fā)套件的典型設(shè)置。 （圖片來源：iWave）

系統(tǒng)架構(gòu)概述

該系統(tǒng)架構(gòu)旨在優(yōu)化數(shù)據(jù)傳輸，在處理系統(tǒng) (PS) 和可編程邏輯 (PL) 組件之間明確定義角色。該實(shí)現(xiàn)還具有精確時(shí)間協(xié)議 (PTP) 同步功能，這對(duì)于實(shí)時(shí)應(yīng)用至關(guān)重要。憑借出色的性能指標(biāo)，例如能夠以每秒超過 100 幀的速度處理 8K 視頻，潛在的應(yīng)用涵蓋數(shù)據(jù)中心、多媒體和高性能計(jì)算等各個(gè)領(lǐng)域，凸顯了該技術(shù)在現(xiàn)代計(jì)算環(huán)境中的多功能性和重要性。

圖 3 所示的系統(tǒng)高級(jí)架構(gòu)突出了 Zynq UltraScale+ MPSoC 中 PS 和 PL 組件的不同作用。 PS 具有基于 ARM Cortex-A53 的硬 SoC，這對(duì)于系統(tǒng)配置、控制和診斷至關(guān)重要。該架構(gòu)的關(guān)鍵組件包括：

• 100G 以太網(wǎng) MAC 驅(qū)動(dòng)程序 ：確保 100 Gb/s 的穩(wěn)健性能和低延遲數(shù)據(jù)傳輸
• ERNIC 控制器驅(qū)動(dòng)程序 ：負(fù)責(zé)管理傳入 DDR 的數(shù)據(jù)，并通過高效的門鈴交換促進(jìn)用戶應(yīng)用程序和 ERNIC IP 之間的通信
• RDMA 核心和用戶空間庫 ：確保跨內(nèi)核和用戶空間的 RDMA 操作的兼容性和最佳性能

圖 3：Zynq UltraScale+ MPSoC 中處理系統(tǒng)和可編程邏輯組件的不同角色的亮點(diǎn)。 （圖片來源：iWave）

AMD ERNIC IP 有效地將 RoCE v2 堆棧卸載到 FPGA 上，并由 ERNIC 控制器管理各個(gè)模塊之間的握手以促進(jìn)數(shù)據(jù)傳輸。它生成工作隊(duì)列條目并向 ERNIC IP 發(fā)送通知（門鈴）。同時(shí)，Zynq UltraScale+ MPSoC 的 100G 以太網(wǎng)子系統(tǒng)管理 MAC 和物理層，而數(shù)據(jù)模式生成器則負(fù)責(zé)生成原始數(shù)據(jù)和視頻數(shù)據(jù)模式。

精確時(shí)間協(xié)議（PTP）

PTP（IEEE 1588 標(biāo)準(zhǔn)）時(shí)間戳在以太網(wǎng)上跨系統(tǒng)同步時(shí)間方面發(fā)揮著至關(guān)重要的作用。這種同步對(duì)于增強(qiáng)實(shí)時(shí)應(yīng)用程序的性能、實(shí)現(xiàn)納秒級(jí)的同步和低延遲數(shù)據(jù)交換至關(guān)重要。

設(shè)置的主要亮點(diǎn)

該設(shè)置的顯著特點(diǎn)包括：

• 利用 AMD ERNIC IP 通過 RoCE v2 實(shí)施 100G 以太網(wǎng)
• 可靠連接傳輸類型
• 用于數(shù)據(jù)包處理的 RDMA SEND、RDMA READ 和 RDMA WRITE 功能
• 支持 RDMA Send with Immediate 和 RDMA Write with Immediate 消息類型
• 使用 XRPING 和 PERFTEST 應(yīng)用程序進(jìn)行 RDMA 性能測試
• 用于 RAW 和視頻數(shù)據(jù)模式的自定義數(shù)據(jù)模式生成器
• 將 PTP 時(shí)間戳與數(shù)據(jù)一起插入

從 Zynq UltraScale+ MPSoC 開發(fā)套件到服務(wù)器 PC 的視頻數(shù)據(jù)傳輸?shù)脑敿?xì)吞吐量統(tǒng)計(jì)數(shù)據(jù)顯示出令人印象深刻的性能，能夠以超過 100 fps 的速度處理 8K 視頻，以超過 400 fps 的速度處理 4K 視頻。

潛在應(yīng)用

RDMA over 融合以太網(wǎng)和 ERNIC IP 的集成為各個(gè)行業(yè)開辟了新途徑，顯著增強(qiáng)了一系列應(yīng)用的連接性、性能和效率，包括：

• 數(shù)據(jù)中心和云計(jì)算 ：促進(jìn)高效的服務(wù)器通信并加速云架構(gòu)中的數(shù)據(jù)處理
• 視頻/圖像捕獲和傳輸 ：有利于多媒體應(yīng)用、廣播和虛擬現(xiàn)實(shí) (VR) 環(huán)境
• 存儲(chǔ)解決方案 ：實(shí)現(xiàn)存儲(chǔ)設(shè)備和服務(wù)器之間更快的數(shù)據(jù)傳輸，從而提高存儲(chǔ)系統(tǒng)性能
• 高性能計(jì)算 (HPC) ：提高 HPC 集群內(nèi)的數(shù)據(jù)傳輸速度并減少延遲，以加快計(jì)算任務(wù)和模擬速度
• IoT Edge 設(shè)備 ：實(shí)現(xiàn)傳感器和設(shè)備的實(shí)時(shí)數(shù)據(jù)收集和傳輸

隨著對(duì)更快、更高效的數(shù)據(jù)傳輸解決方案的需求不斷增長，融合以太網(wǎng)上的 RDMA 和 ERNIC IP 有望在未來的高性能計(jì)算中發(fā)揮關(guān)鍵作用。

結(jié)論

iWave 廣泛的 FPGA 和 SoC FPGA 平臺(tái)產(chǎn)品組合與其深厚的技術(shù)專業(yè)知識(shí)相結(jié)合，使客戶能夠開發(fā)利用人工智能 (AI)、機(jī)器學(xué)習(xí)和邊緣計(jì)算領(lǐng)域最新進(jìn)展的尖端產(chǎn)品。通過與 iWave 合作，公司可以加快產(chǎn)品開發(fā)、降低風(fēng)險(xiǎn)，并在日益復(fù)雜的技術(shù)環(huán)境中保持競爭優(yōu)勢。

審核編輯 黃宇