基準測試是電子工程師的最愛，因為它提供了有關(guān)性能、功耗、延遲或其他可能對整個系統(tǒng)產(chǎn)生重大影響的組件指標的快速參考。嵌入式微處理器基準聯(lián)盟 （EEMBC）等組織廣泛提供組件基準測試，可測量從微控制器 （MCU） 及其外圍設(shè)備的能效到多核和異構(gòu)計算架構(gòu)的性能，再到數(shù)據(jù)中心服務(wù)器的延遲和吞吐量等方方面面。 這些標準化測試提供的分數(shù)提供了設(shè)備在受控環(huán)境中如何運行的比較快照，并且可以幫助工程決策者快速篩選眾多組件選項并確定解決方案。

但這絕非易事，正如任何優(yōu)秀的工程師都會告訴您的那樣，因為基準測試結(jié)果通常只衡量不在復(fù)雜的真實系統(tǒng)環(huán)境中運行的孤立組件的性能。公平地說，給定系統(tǒng)設(shè)計的無限變量轉(zhuǎn)化為無限可能的測試向量，使得基準測試的圣杯——系統(tǒng)級基準——不切實際。

系統(tǒng)級基準測試復(fù)雜性的一個完美示例是物聯(lián)網(wǎng) （IoT）。有時被稱為“系統(tǒng)系統(tǒng)”架構(gòu)，對物聯(lián)網(wǎng)設(shè)備進行基準測試不僅需要測試多個組件，還需要測試設(shè)備與數(shù)據(jù)中心服務(wù)器之間連接的安全性、延遲和吞吐量。物聯(lián)網(wǎng)部署模型的多樣性和不同垂直市場的獨特要求對圍繞物聯(lián)網(wǎng)系統(tǒng)開發(fā)標準化測試提出了進一步的挑戰(zhàn)，這再次使基準測試變得不切實際。

或者是嗎？

“傳統(tǒng)的基準是，‘這里有一些代碼。去用你最喜歡的編譯器編譯代碼，然后在處理器上運行它，‘”EEMBC 總裁 Markus Levy 說。“隨著您對系統(tǒng)級別的了解越來越多，您會發(fā)現(xiàn)您需要擁有更多的外部影響力才能使其成為現(xiàn)實世界。這是我們將使用 IoT-Gateway 和 IoT-Secure 基準做的事情，也是我們一直在使用IoT-Connect基準做的事情。”

EEMBC 物聯(lián)網(wǎng)工作組成立于 2015 年，旨在為物聯(lián)網(wǎng)社區(qū)制定更全面的基準。他們努力的最初產(chǎn)品是前面提到的 IoT-Connect 基準，它通過考慮藍牙、Wi-Fi 和 Thread 等無線接口的功耗（以及可能未來的 LoRa），以及傳感器輸入的影響。如圖 1 所示，IoT-Connect 基準測試包括一個基于 Arduino 的 I/O 控制器，該控制器使用 SPI 或 I2C 接口來模擬傳感器輸入，以及一個配備連接屏蔽層的 Raspberry Pi，用作射頻控制器。這兩個設(shè)備都與被測設(shè)備 （DUT） 通信，

【圖1 | 此處顯示的是來自 EEMBC 的 IoT-Connect 基準測試，它使用 Arduino I/O 控制器、帶有藍牙低功耗 （BLE） 屏蔽的 Raspberry Pi（在本例中）以及此處用于評估性能和STMicroelectronics Nucleo 平臺的功耗。］

IoT-Connect 基準測試代表了用于測試復(fù)雜物聯(lián)網(wǎng)系統(tǒng)的各種元素的初始框架，也為兩個最新的 EEMBC 物聯(lián)網(wǎng)基準測試奠定了基礎(chǔ)：IoT-Secure和IoT-Gateway。

為物聯(lián)網(wǎng)決策者制定更深入的基準

IoT-Secure 和 IoT-Gateway 基準測試目前都在開發(fā)中，但重要的是它們試圖提供標準化但靈活的工具——所有這些都基于配置文件的概念。例如，由 Synopsys 的 Mike Borza 和 Ruud Derwig 共同主持的 IoT-Secure 基準測試建立在 IoT-Connect 提供的框架之上，以量化加密算法（如 SHA-256、AES 和 ECC）的影響，通過硬件加速器、加密協(xié)處理器、嚴格意義上的軟件或它們的組合。然而，IoT-Secure 基準也將在后續(xù)階段推出，將這些獨立功能組合到配置文件中，允許用戶計算技術(shù)和實施方法的組合如何優(yōu)化系統(tǒng)級別的安全性。

“與此相關(guān)的是某種形式的性能——無論是吞吐量，還是延遲，還有一個能量因素，還有一個內(nèi)存利用率因素，”Levy 說。“我們想知道的是，‘做這種安全性相關(guān)的開銷是多少？’”

另一個可能更雄心勃勃的基準測試是 IoT-Gateway，由戴爾的 Rory Rudolph 擔(dān)任主席。IoT-Gateway 旨在根據(jù)特定垂直市場的要求評估網(wǎng)關(guān)的基本功能及其性能。原則上，IoT-Gateway 將采用分布式基準測試架構(gòu)，測量客戶端-服務(wù)器交互和跨多個物理端口生成的工作負載，以提供整個系統(tǒng)的延遲和吞吐量指標，直至達到飽和值。

如前所述，在通用測試之外，來自不同市場的典型工作負載和使用模型將用于創(chuàng)建額外的基準配置文件（例如在自動化、媒體和運輸領(lǐng)域），從而允許根據(jù)其要求對網(wǎng)關(guān)進行測試目標行業(yè)（圖 2）。

【圖2 | 各種垂直市場的不同要求要求基于行業(yè)為 IoT-Gateway 基準開發(fā)單獨的配置文件。］

如圖 3 所示，IoT-Gateway 基準測試可以概括地描述為連接到服務(wù)器、從服務(wù)器接收測試數(shù)據(jù)、計算該數(shù)據(jù)，然后將其傳回的過程。在 IoT-Gateway 的第 1 階段，這將使用基于軟件的基準控制器、典型的工作負載生成器和執(zhí)行引擎來執(zhí)行，所有這些都在被測網(wǎng)關(guān)上本地運行（圖 4）。在第 2 階段，基準測試將演變?yōu)橥ㄟ^外部控制器和基準測試設(shè)備運行真實世界的網(wǎng)關(guān)工作負載（圖 5）。

【圖3 | IoT-Gateway 基準測試致力于測試網(wǎng)關(guān)設(shè)備的基本功能，以及它們基于行業(yè)要求的性能。］

【圖4 | IoT-Gateway 基準測試的第 1 階段完全由在網(wǎng)關(guān)本地運行的軟件組成，不使用物理端口，并生成各種行業(yè)使用模型的典型工作負載。］

【圖5 | IoT-Gateway 基準測試的第 2 階段將是分布式架構(gòu)測試，不僅包括被測網(wǎng)關(guān)，還包括單獨的基于服務(wù)器的工作負載生成器和控制器。］

“我們正在做的是開發(fā)與云通信的概念驗證，然后我們將開發(fā)連接到藍牙或其他射頻方法的組件，”Levy 解釋說。“真正的挑戰(zhàn)是發(fā)展客戶端-服務(wù)器關(guān)系。

“使用 IoT-Connect 基準測試會稍微簡單一些，因為您正在模擬 IoT 邊緣節(jié)點設(shè)備，”Levy 繼續(xù)說道。“在網(wǎng)關(guān)的情況下，您可能有 50 或 100 個藍牙連接，因此當(dāng)您嘗試使接口飽和時會變得有點復(fù)雜。您不能只讓一個 BLE 設(shè)備與網(wǎng)關(guān)通信。理想情況下，你會不斷地向它扔設(shè)備，包括混合協(xié)議，因為網(wǎng)關(guān)可以同時使用不同的設(shè)備進行 Wi-Fi、藍牙和其他類型的射頻。”

與處理器無關(guān)的網(wǎng)關(guān)基準測試將針對基于 Linux 的操作系統(tǒng) （OS），以促進適用于最廣泛系統(tǒng)的標準化水平。

審核編輯：郭婷