概述

目前，視覺應用在物聯網發展領域備受關注。不論是可視門鈴、會議室監控、家庭安全攝像頭或者是智能零售應用，諸多創新型公司紛紛借助人工智能 (AI) 和機器學習 (ML) 技術，大力開發經濟高效的成像解決方案。對于這一領域的開發者來說，提高準確性和效率變得越來越重要。

簡介

Plumerai 總部位于倫敦，專注于在小型嵌入式設備上高效地執行復雜的 AI 輔助計算機視覺任務，諸如人員檢測，包括可識別熟悉的面孔、車輛和寵物。Plumerai 工程師開發了一個實時人員檢測應用程序，并將其移植到了基于 Arm Cortex-M85 的瑞薩 RA8D1 微控制器 (MCU) 上運行，從而利用 Arm Helium 矢量擴展技術，加速神經網絡，通過少量的系統資源便可實現每秒 13 幀的高性能。

挑戰

在資源受限的嵌入式設備上運行基于神經網絡的計算機視覺任務（例如人員檢測）頗具挑戰性。此類應用程序需具備高計算性能和低內存占用。

傳統上，微控制器不支持 SIMD (單指令多數據) 指令，無法實現并行處理和性能的提升。引入 Helium 矢量擴展（也稱為 Cortex-M 矢量擴展技術，MVE）可以有效彌補這一欠缺。

將所有數據都保留在設備端，而不依賴于云連接，以保障用戶隱私性并增強解決方案的安全性。

解決方案

Plumerai 利用 Cortex-M85 上的 Helium 矢量擴展來加速其人員檢測神經網絡。

Plumerai 構建緊湊型神經網絡的方法涉及到垂直整合，需同時考慮所有 AI 層。換句話說，他們并不是將數據、模型、訓練、推理和硬件分開來處理。這種整體方法對于能效而言至關重要。

Plumerai 的方法不僅關注模型架構，這只是整個處理過程的一部分，在此基礎上，還要考慮如何將組件與數據緊密地聯系在一起。數據對于小型神經網絡來說至關重要，因此收集、整理和正確標記訓練數據非常關鍵。

鑒于 Arm 技術在市場的應用普及性和豐富廣泛的生態系統，Plumerai 選用了 Arm 架構。通過在 Cortex-M MCU 上運行軟件，Plumerai 實現了穩定的圖像捕捉性能，每秒可捕捉 2-5 幀。當采用 Cortex-M85 Helium 擴展的高性能 RA8x1 MCU 面向市場時，他們表現出了濃厚的興趣。

Helium 是 Cortex-M 系列處理器的矢量擴展，可以為執行 AI 和 ML 工作負載的小型節能設備提供增強性能。Helium 包含硬件和軟件優化，有助于在 Cortex-M 處理器上更快地執行神經網絡模型，使其適用于各種應用，包括智能傳感器、物聯網設備、可穿戴設備等

他們借助 Helium 更寬的矢量寄存器和增強型點積 EDP 等新的 SIMD 指令，加速卷積和矩陣乘法等關鍵神經網絡層。

Plumerai 的優化推理引擎在性能最大化方面也發揮了關鍵作用。經測量，它比在采用 Helium 技術的微控制器上運行 TensorFlow Lite 推理模型的速度快 3.5 倍。得益于 Helium 的加速能力，Plumerai 將人員檢測的工作速度提高了 4 倍；在運行速度僅為 480 Mhz 基于 Cortex-M85 的 RA8D1 MCU 上，其性能提升到了 13 幀率 (FPS)。

這不僅提高了成像速度，還提升了準確率，進而為人員統計等新應用帶來了全新可能。此外，它還可降低整體系統功耗：更高的幀速率意味著更快地捕捉和分析幀數。因此，如果幀中沒有檢測到人員，系統便可以更快地進入休眠狀態。

Plumerai 能夠在配備基于 Cortex-M85 的 RA8D1 MCU 的瑞薩評估板上實現這一點，且僅需占用 300 KB RAM (隨機存取存儲器)。對于較為復雜的 AI 視覺任務，整個可執行二進制文件的大小僅為 1.5 MB。RA8D1 MCU 具備 2MB 閃存、1MB 片上 SRAM 存儲器以及 16 位攝像頭接口，無需任何外部存儲器或其他組件即可打造高質量的人員檢測全面解決方案，并且能夠應對遮擋、不同姿勢和照明不佳等棘手情況。除此之外，Plumerai 還能夠實現公司的一大關鍵用戶目標，即提供隱私友好的解決方案，可以完全在設備端運行，無需云端處理。因此不會在云端存儲或傳輸任何圖像。

此外，公司還構建了自己的優化推理引擎和框架，并被 ML Commons 聯盟評為全球最快的推理引擎及框架。

結論

Helium 矢量擴展助力 Plumerai 在資源受限的嵌入式設備上打造高性能計算機視覺應用。相關實現方案既展示了 Helium 的出色能力，也為其他從事嵌入式 AI 工作負載的開發者提供了參考模型。