機器視覺已經在世界上迅速找到了自己的位置。從樹上看到和采摘橙子。注視檢測針對危險不明的駕駛員。在工廠車間移動的工業機器人依靠它進行安全障礙物檢測。

物聯網端點位于嵌入式視覺的前沿。而且，與其他前沿領域一樣，也存在挑戰，其中最重要的是電源效率。是否可以在不超出節點功率容量的情況下在極端邊緣進行推理？

這個問題值得考慮。這是因為在邊緣進行推理可以避免不加選擇地將數據（其中只有一些是可操作的）傳輸到云進行分析。這降低了存儲成本。此外，訪問云會損害延遲并抑制實時功能。傳輸數據是易受攻擊的數據，因此端點處理更可取。這對于降低支付給網絡運營商的成本也是有利的。

一種全新的 SoC 架構方法

然而，對于所有這些好處，一個主要的絆腳石仍然存在。使用傳統微控制器的器件的功耗限制阻礙了極端邊緣的神經網絡推理。

傳統的微控制器（MCU）性能無法達到周期密集型操作。方法喚醒解決方案可能依賴于機器視覺進行對象分類，而機器視覺又需要卷積神經網絡 （CNN） 執行矩陣乘法運算，從而轉換為數百萬乘法累加 （MAC） 計算（圖 1）。

圖 1.到目前為止，微控制器無法承受大容量乘法累加（MAC）的效率問題一直是絆腳石。

MCU存在各種各樣的神經網絡。但是，這些未能作為生產就緒的解決方案流行起來，因為所需的性能無法超越電源障礙。

克服功耗-性能難題是為什么對處理器角色和 SoC 架構采用全新方法的解決方案是有意義的。采用這種新方法需要了解物聯網端點有三個工作負載需要處理才能成功推理。一個是程序性的，一個是用于數字信號處理的，一個是執行大量的MAC操作。滿足每個工作負載獨特需求的一種方法是在 SoC 中將用于信號處理和機器學習的雙 MAC 16 位 DSP 和用于程序負載的 Arm Cortex-M CPU 組合在一起。

這種混合多核架構充分利用了 DSP 雙存儲體、零環路開銷和復雜地址生成。有了它，可以處理工作負載的任意組合：例如，網絡堆棧，RTOS，數字濾波器，時頻轉換，RNN，CNN以及傳統的類似人工智能的搜索，決策樹和線性回歸。圖 2 顯示了當 DSP 架構優勢發揮作用時，神經網絡計算性能如何提高 2 倍甚至 3 倍。

圖 2.矩陣乘法 （NxN） 基準測試。

僅靠架構更改是不夠的

無論是對于嵌入式視覺系統還是依賴于顯著提高神經網絡效率的任何其他系統，實施混合多核架構都很重要。但是，當目標是將功耗降至mW范圍時，必須做更多的工作。認識到這一需求，埃塔計算獲得了專利的連續電壓和頻率調節（CVFS）。

CVFS 克服了動態電壓頻率縮放或 DVFS 遇到的問題。DVFS確實利用了降低功率的選項，即降低電壓。缺點是，當執行此選項時，最大頻率會降低。這個問題將DVFS的有效性固定在一個狹窄的范圍內——一個由嚴格限制數量的預定義離散電壓電平定義，并束縛在幾百mV的電壓范圍內。

相比之下，為了在最有效的電壓下實現一致的 SoC 操作，CVFS 使用自定時邏輯。通過自定時邏輯，每個器件都可以在連續的范圍內自動調整電壓和頻率。CVFS比DVFS更有效，也比亞閾值設計更容易實施，CVFS在另一個重要方面也與這些不同。這個關鍵的區別在于，上面提到的混合多核架構使CVFS已經做的好處成倍增加。

生產級極致邊緣

極端邊緣的端點（例如用于人員檢測的端點）具有特定需求。雖然已發布的神經網絡可供任何人用于這些物聯網端點，但它們并未針對這些需求進行優先級排序。使用領先的設計技術優化這些網絡可以解決這個問題。

除了使用先進的設計方法外，我們在Eta計算中采用的神經網絡優化方法還集中在我們的生產級神經傳感器處理器ECM3532上（圖3）。它融合了混合多核架構和 CVFS 技術的所有優勢。

圖 3.Eta Compute ECM3532 神經傳感器處理器采用混合多核架構，其中 Arm Cortex-M3 處理器、恩智浦 CoolFlux DSP、512KB 閃存、352KB SRAM 和支持外設集成在 SoC 中，可實現在 mW 范圍內的極端邊緣進行推理。

獲得的知識

圖4所示的測試結果表明，為了將深度學習引入嵌入式視覺系統，電力成本不必上升到不可接受的水平。雖然沒有一根魔杖可以滿足耗電的神經網絡的需求，但將MCU能效和DSP優勢與網絡優化相結合的方法可以幫助應用程序避免僅依靠云計算而導致的安全性，延遲和低效率問題。

圖 4.在對人員檢測模型的測試中，包括攝像頭在內的平均系統功率達到5.6mW。對于此測試，速率為每秒 1.3 次推理，但進一步優化應將平均系統功耗降低到 4mW，同時將速率提高到每秒 2 次推理。

審核編輯：郭婷