機器學習算法開辟了一個可能性領域，可以將視覺嵌入到產品中，使我們的家庭、工作空間以及介于兩者之間的地方更安全、更高效。為了在更多用例中真正發揮智能視覺的潛力，開發人員需要更節能、更靈活的嵌入式解決方案，這些解決方案可以依靠電池供電，易于安裝和維護，同時仍能提供提供有效和智能所需的視覺性能感知我們想要檢測和監控的事物。ML 建模和處理的新進展是智能相機廣泛采用的關鍵。

負擔得起的遠程視覺監控過去意味著紅外運動檢測器：便宜、自主，但不一定有效。我的一個朋友最近用一套聯網的攝像機保護了他的后院。攝像頭使用紅外運動檢測喚醒，然后將視頻發送到應用程序。

問題是，他后院的運動檢測意味著檢測從鄰居松鼠到微風中吹來的風鈴等一切事物。他的視頻剪輯太多了，以至于他可以理解地忽略了它們——包括有一天，一個竊賊從后院闖入他的房子。

直到最近，另一種選擇是將視頻輸入控制室，如果發生重要事情，您可能希望人類觀察者會在屏幕上注意到。這種方法提供了更多的保護，但費用和能源消耗要大得多。我們確實需要介于兩者之間的東西：便宜、電池供電，但比簡單的運動檢測更具辨別力。理想情況下，該系統將具有足夠的嵌入式智能，首先將事件確定為“真實事件”，然后再喚醒功能更強大的攝像頭，該攝像頭在向應用程序發送通知后記錄和流式傳輸高分辨率視頻。

今天，機器學習技術的巨大進步極大地改進了無人值守的視頻分析?，F在，帶有高性能深度學習推理加速器芯片或與云數據中心的寬帶連接的高清攝像頭可以顯著增強和改進傳統的安全和監控方法。事實上，這樣的深度學習系統已經展示了非凡的能力：面部識別、手勢解釋——例如，檢測入店行竊——甚至情緒估計——甚至檢測入店行竊的誘惑?；蛟S這些能力已經變得有點太了不起了。

但這些系統仍然很昂貴。它們需要外部電源和寬帶連接。而且由于它們的能力如此之強，它們會引發安全和隱私問題，這可能會限制它們的部署或增加監管障礙。

天平的另一端，回到那個不起眼的紅外運動傳感器呢？仍然有許多應用程序只檢測一個人的存在——而不識別他們或估計他們的心理特征——就足夠了。其中許多應用程序需要外部電源的自主權，并且只能提供有限的連接回網絡。許多需要非常低的成本。他們呢？

最近在超低功耗機器學習加速方面取得的重大進展現在可以回答這個問題。

可能受益的應用程序類型

要在上下文中理解這一突破，讓我們仔細看看一些用例。例如，在許多安全和安保應用中，重要的是要知道您正在監控的區域是否有人在場。這可能是為了檢測入侵者，確保沒有人靠近危險設備，或者只是打開一些燈以避免有人在黑暗的房間里絆倒。你并不真正關心這個人是誰，但你也不會對松鼠和管狀鈴鐺的誤報感興趣，比如那些在我朋友后院引發警報的東西。

事實證明，這對于機器學習來說是一個很好的應用——事實上，對于一個非常簡單的機器學習模型來說。在這種情況下，模型是一組數據和指令，通過一個稱為訓練的過程運行大量數據而建立，機器學習系統使用這些數據和指令來生成推理——例如，是的，有人的推理在圖像中，或者沒有，圖像中的人物是老板的金毛獵犬。

大流行創造了另一類應用程序，不幸的是，這些應用程序可能會伴隨我們一段時間：社交距離監控?？刂七M入封閉空間以確保人員不超過容量限制至關重要。要做到這一點，最好的方法是在門口沒有人工看守的情況下，是一個可以在人員進出時統計人數的系統。是的，這只是人員檢測的另一種用途。這種系統的一個附加功能是檢測相關人員是否戴著口罩。對于經過訓練的機器學習模型來說，這也是一項相對簡單的任務。

事實證明，有一個完全不同的應用領域密切相關。組織已經更加關注他們在辦公空間上的花費，并根據空間的使用方式來決定如何最好地優化空間。當辦公室經理考慮使用更?。ㄇ腋阋耍┣彝ǔＪ枪蚕淼墓ぷ骺臻g時尤其如此。但是你無法優化你無法衡量的東西。突然，有許多新的問題。有人用這個走廊嗎？咖啡廳什么時候忙？有多少個熱桌可用？三個會議室都被占用多久？此類數據對于在不降低生產力的情況下最大限度地減少辦公費用至關重要。同樣，您無需識別人員或了解他們在做什么。您只想能夠檢測到它們的存在。

讓我們看一下當今大多數公司所考慮的典型現實情況：一家公司在曼哈頓或舊金山市中心等昂貴的市中心地區的高層建筑中設有辦公室。他們有四十個隔間和五個會議室。隔間被占用了工作周的至少一部分。根據高架攝像頭的人員檢測/計數輸入，只有三個會議室的使用率比其他兩個多得多。現在，當公司擴大規模，需要再雇用 20 人時，他們可以分析隔間和會議室的實際使用情況，而不是在同一棟大樓中租用另一層樓以支付高額租金。解決方案可能是將其中一個未使用的會議室改造成額外的 20 個隔間，或者提出一種靈活的混合模型，在人們需要時為他們提供工作空間，并最大限度地利用現有隔間。這將導致巨大的成本運營支出節省，并且可以隨著容量和勞動力習慣的變化而調整。

檢測特定屬性

這帶來了另一類應用程序：合規性檢查。可以訓練機器學習系統來檢測人的可見屬性。此人是否有可見的 ID 徽章？安全帽或呼吸器怎么樣？該人是否將點燃的香煙帶入易爆氣體泄漏的房間？

經驗表明，機器學習模型可以比舊式視覺處理軟件算法更好地執行這類檢測任務。機器學習模型也可以比人類監視器更準確和可靠，尤其是在需要長時間持續關注的情況下。當任務是檢測時——不是識別個人、解釋手勢或其他需要基于大量精細細節進行細微推斷的任務——模型可以非常緊湊。

如果模型緊湊，并且如果視頻數據以適中的速率進入而不是以 60Hz 的頻率涌入，例如逐行掃描 UHD，那么所需的處理能力也可能適中。它需要的不僅僅是一個典型的微控制器芯片所能提供的，但遠遠低于你從為高性能計算設計的推理加速器或從耗電量大的 GPU 中獲得的東西。

這將是應用近年來為超低功耗計算開發的技術的理想場所：存儲器、控制器和信號處理器。這些技術可以使機器學習推理加速器足夠快地完成視覺檢測任務，但功耗卻足夠低，可用于無人值守的電池供電操作。

加上恰到好處的速度會帶來額外的好處。這種設備有限的速度和內存容量使得幾乎不可能將芯片用于未經授權的任務，例如面部識別。這一事實可以大大減輕在對隱私監管敏感的領域部署系統的監管負擔。

一個可以提供這個的例子

事實上，這樣的超低功耗機器學習加速器已經存在：Synaptics 的 Katana KA 10000 SoC。該芯片集成了一組處理器，包括一個 Arm CPU、多個 DSP 內核和一個定制的神經網絡加速器，為一系列不同類型的中等規模機器學習模型提供完整的推理加速平臺。

到目前為止，這種描述同樣適用于許多用于高性能計算的 AI 加速芯片。但是，當您的目標是數月的電池壽命而不是每秒數十次千兆操作時，您必須從一開始就以不同的方式做事。

這意味著從針對低功耗而非最高速度優化的半導體工藝技術開始。這意味著設計的電路只消耗足夠的功率來完成手頭的任務，并且在不需要時關閉。這意味著選擇處理器架構，例如 Arm Cortex-M33 CPU、DSP 內核和專有的神經處理單元，它們可以協作以盡可能少的電池消耗而不是盡可能少的時間延遲來完成給定的推理。它還意味著為攝像頭和麥克風提供片上、低功耗存儲器和外圍接口。

對于將在現場使用的 SoC，處理敏感的個人數據，安全性也是首要考慮的問題。密鑰的安全存儲、安全啟動和代碼更新以及硬件輔助加密都是必須在硬件級別解決的問題。

在實踐中可以期待什么結果？

那么，專注于超低功耗的成功程度如何？Synaptics 聲稱 KA10000 可以處理傳入的視頻并每秒產生 10 次推理，同時使用一塊電池運行近三年。

對于非專業軟件開發人員來說，所有這些任務都可能令人生畏。該過程可能需要 6 到 9 個月——如果出現任何問題，甚至更長時間——因此部署邊緣 AI 設備可能會是一項耗時的工作，將時間表、預算甚至市場窗口都置于風險之中。

成功需要硬件、軟件和 IP 提供商的協作生態系統。例如，Synaptics 通過與 Edge Impulse 等 MLOps 公司的合作，幫助加快了這一進程。使用帶有 Synaptics 的 Katana 平臺的 Edge Impulse 環境，客戶可以在幾天內制作模型原型，并在幾個月內構建生產模型。這意味著差異化、超低功耗邊緣人工智能設備的低風險和快速部署。

芯片行業首次響應了廉價自主相機中對有效和特定用例機器學習的需求?，F在提供的解決方案以極具吸引力的成本和性能點提供綜合但適合普通人的開發環境和完整的神經網絡增強 SoC 的組合。這開辟了低功率人體檢測和其他視覺檢測能力的前沿，將以多種方式改善我們的生活。

審核編輯 黃昊宇