本文來自“專用數據處理器(DPU)性能基準評測方法與實現(2022)”介紹 DPU 性能測試系統框架與測試流程，包括測試系統、測試要求、測試活動三部分。具體的，測試系統定義了三種搭建 DPU 測試系統的方法，測試要求闡述了組建 DPU 測試系統時需要滿足的要求，測試活動定義了DPU Benchmark 的選擇策略、執行前準備、執行過程及測試結果報告。

DPU 測試系統(SUT)

DPU 測試系統(System Under Test，SUT)是測試 DPU 性能的平臺，其結構在不同應用場景中，主要分為三類：單端型測試系統(Single-End)、端到端型測試系統(End-to-End)和多端型測試系統(Multi-End)。

單端型(Single-End)測試系統是主機與 DPU 通過總線互聯構成的封閉測試系統，主要用于模擬無網絡連接情況下，DPU 作為專用加速器執行主機端特定業務的過程。在這種系統中，計算與數據傳輸僅在主機與 DPU 之間進行，DPU 不與其他設備通信，僅執行特定計算業務。單端型測試系統主要測試 DPU 對特定計算任務的性能提升。

端到端型(End-to-End)測試系統將兩個單端型測試系統通過簡單網絡相連(網線直連)，其中一個為請求發起者(Initiator/Client)，另一個為請求接受者(Target/Server)。

端到端型測試系統主要模擬 DPU 作為網絡加速器執行雙端操作的場景。在這種系統中，計算與數據傳輸不僅在主機與 DPU 之間進行，還通過網絡傳輸到其他系統。DPU 在Server 端接收主機端發起的網絡請求并通過網口轉發，或者在 Client 端接收網絡的請求并向作出響應。端到端型測試系統能夠屏蔽網絡性能(轉發次數、交換設備的性能、轉發設備的性能)對 DPU 性能的影響，主要測試 DPU 對網絡協議卸載、網絡數據包處理的峰值能力。

多端型(Multi-End)測試系統是多個單端型測試系統通過復雜的網絡拓撲相連的開放測試系統。該測試系統主要模擬 DPU 作為網絡加速器在復雜環境中處理網絡任務的場景。在這種系統中，網絡環境(網絡拓撲)與資源分布(相同或者不同類型的 DPU 系統)情況復雜，DPU 不僅承擔一對一的網絡任務，還可能接收一/多個其他系統的請求(含背景流量甚至惡意攻擊)或響應一/多個其他系統的請求。

單端型(Single-End)測試系統

主機與 DPU 通過總線(通常為 PCIe)直接相連形成的可獨立工作的系統為單端型測試系統，系統包含支持 DPU 正常工作的軟件和硬件。在這種測試系統中，DPU 作為專用加速器執行特點計算業務。

單端型測試系統模型的基本結構如圖2.1(a) 所示。運行時環境(Run Time Environ-ment，RTE)代表運行中的 DPU 測試程序，交換設備(Switch)為 DPU 與主機系統(Host System)的互連結構(通常為 PCIe)。在單端型測試系統中，DPU 作為專用加速器，主機使用 DPU 加速某些任務的處理，如數據庫查詢、AI 訓練等。任務數據首先從主機端搬運到 DPU，DPU 計算完成后，再將處理完的數據寫回主機。在這種工作模式中，DPU測試程序可以以數據處理時間、數據處理規模作為性能指標。

單端型測試系統具體由硬件和軟件兩部分構成，硬件主要有 DPU、CPU 以及其他

保證系統正常進行的硬件(內存、硬盤等)，軟件主要有操作系統、DPU 驅動、開源工具、DPU Benchmark，結構示意如圖。各部分組件要求如下：

1. DPU Benchmark，評測 DPU 系統性能的基準測試程序;

2. 開源工具(Open Source Tools)，一些廣泛使用的性能測試工具，保證測試結果可重復，在不同的用戶測試時可以獲得相近的結果;

3. DPU Benchmark 驅動(Benchmark Driver)，基于內核態的測試驅動或者基于用戶態的測試驅動;

4. DPU 驅動(DPU Driver)，包括 DPU 最底層的抽象，也包括 DPU 所提供給用戶程序使用的接口;

5. 操作系統(Operating System)，需要支持 DPU Benchmark 的版本，且相關信息需要在結果報告中明確寫出，如操作系統版本，內核版本等;

6. 計算設備(Computing Device)，通用 CPU，其上運行操作系統;

7. 連接設備(Connected Device)，根據 DPU 板卡接口不同選擇不同，常見的有PCIe、CXL;

8. IO 硬件(I/O)，鼠標、鍵盤等保證系統執行所必須的硬件設備;

9. 被測 DPU 產品(DPU);

10. 其他硬件資源(Hardware Resources)，如內存、硬盤。

端到端型(End-to-End)測試系統

端到端型測試系統是由兩個單端型測試系統通過網線直連的方式組成的測試系統。在這種測試系統中，屏蔽了復雜的網絡拓撲與其他系統流量的影響，可以測試 DPU 網絡加速的峰值性能。

端到端型測試系統由兩個單端型測試模型直接相連(如圖所示)，每個單端測試系統分別運行 DPU Benchmark 測試程序，一般其中一個運行發起者程序 (Initiator/-Client)，另一個運行接收者程序 (Target/Server)。通過發起者發送請求，接收者響應請求，測量基于網絡的端到端操作，例如 RDMA Send/Receive 操作，NVMe-oF 遠程訪問。在這種測試模型中，根據從一端 DPU 系統到另一端 DPU 系統的請求時間和流量等測試DPU 的延遲、吞吐量等性能。

端對端型測試系統在單端型測試系統的基礎上，增加網絡基礎設備(通常為網線)

用于直接連接兩個單端測試系統，其結構如圖2.3所示。根據 DPU 所支持的網口速率不同，可采取不同的網絡連接設備，缺省值為 100Gbs 連接。

多端型(Multi-End)測試系統

多端型測試系統是由多個單端型測試系統經由復雜網絡(復雜的網絡拓撲)連接形

成的測試系統。在這種測試系統中，可以模擬 DPU 所處的真實網絡環境，測試 DPU 網絡處理的實際性能。

多端型測試系統模型主要用于模擬基于 DPU 構建的數據中心，通過復雜的網絡將

眾多 DPU 系統 (功能相同或者不同) 互連起來，從而測試基于 DPU 系統實現的網絡、存儲或安全加速應用的真實性能，如NVMe-oF 讀取不同結點存儲系統的存儲資源、RDMA訪問不同結點的資源。在這種測試模型中，根據請求與響應時間、請求的數據量及并發的請求數等可以測試延時、吞吐量、連接能力等指標。

多端型測試系統在單端型測試系統的基礎上，需要增加更復雜的網絡基礎設備用于連接不同節點的 DPU 系統。這些網絡基礎設施包括但不限于集線器、交換機、路由器等。

在 DPU Benchmark 執行時，為了保證測試結果的準確性與可重復性，對于同一種測試用例執行兩輪(特殊的情況在具體的測試用例說明)。每一輪分為三個部分：預熱 (Warmup Run) 部分排除初始化干擾;負載執行 (Measured Run) 部分為真正的指標測試;結果檢查 (Result Check) 部分檢查結果的正確性 (數據傳輸的完整性，計算結果的正確性等)。每執行完一輪需要恢復至初始狀態 (Clear up)。在預熱部分與負載執行之間不允許執行其他任務。每一輪執行的過程中，DPU 測試系統配置不可以發生變化。

在 DPU Benchmark 執行過程中，DPU 測試系統不可以重啟或者重新開始。如果 DPU系統測試應用、操作系統或者硬件發生不可恢復的錯誤時，這一輪的執行應作無效;如果 DPU 系統測試應用、操作系統或者硬件檢測到可恢復的錯誤，并且錯誤糾正并恢復正常，那么這一輪的執行應作有效。在錯誤發生處理期間，測試者不能人工干預，否則，這一輪執行應作無效。

測試報告中除了給出不同測試用例的性能指標，還需要給出測試過程中的全部配置信息，包括：配置參數，包括服務器、存儲、網絡等其他硬件設施;安裝的操作系統、文件系統、測試工具等軟件版本;在測試過程中使用到的其他軟件程序;程序編譯優化選項。在執行 DPU Benchmark 時如果系統發送異常或者其他情況，需要在報告附錄中指出。

本文來自“專用數據處理器(DPU)性能基準評測方法與實現(2022)”介紹 DPU性能測試系統框架與測試流程，包括測試系統、測試要求、測試活動三部分。完整內容請參看原報告。

審核編輯：湯梓紅