一個極具前景的物聯網人工智能 (AI) 視覺技術應用——通過采集店內消費者的數據，幫助零售商利用這些視頻數據，更快速、更高效地優化產品陳列、布局動線和客戶體驗。

但同時也面臨著兩個主要挑戰：成本和復雜性。假設一家大型超市想要采集客流量、消費者購買記錄及其它數據，則需要在店內安裝大約 15,000 個攝像頭。對于每秒 30 幀的 4K 視頻，15,000 個攝像頭每秒將產生 225 GB 的數據。

相較于其它形式的數據，視頻的數據量十分龐大，處理流程也相當復雜，包括圖像識別、物體檢測和場景分析。這些 AI 視覺任務需要先進的算法和模型支持，這讓計算變得更為復雜。此外，這類大數據需要傳送回云端進行高效計算，再發送回來，以便進行決策判斷。顯然，每秒 225 GB 的數據并不具有經濟性。

但現在早已不是 2018 年了。在過去五年中，上述的場景發生了巨大的變化。現在，結合 AI 與機器學習 (ML)[1]，經過不斷提升后的邊緣處理能力可實現更高的效率，意味著許多極具前景的視覺應用在以往所面臨的巨大經濟性障礙正在被逐步掃除。

釋放邊緣 AI 視覺的創新力

此前，很多關鍵性技術都各自為政，幾乎很難或根本不可能與其它重要組件相互集成，以實現一個無縫創新的生態系統。在同質處理的環境中，人們用一個解決方案來滿足所有的需求，但這對于不同的視覺工作負載提供定制化解決方案的實現，是極其困難的。那現如今有什么不同呢？

工程師和開發者們已攻克了成本、復雜性及其它一些難題。以復雜性這一挑戰為例。降低視覺解決方案的成本和復雜性的途徑之一是，為開發者在邊緣解決方案（異構計算）的實施過程中提供更高的靈活性。

芯片設計公司正在生產性能更加強大的處理器，帶來了更高計算性能的同時維持高能效表現。這些處理器包括 CPU、GPU、ISP 和加速器，能夠在一些資源受限的環境下處理 AI 和 ML 等復雜任務。此外，通過 AI 加速器，無論是作為 SoC 內核，還是作為獨立的 SoC，均能夠在邊緣高效地執行 AI 算法。

解決復雜性

談到復雜性方面的問題。2022 年，Arm 推出了 ArmMali-C55，這是 Arm 迄今推出的最小芯片面積下，可實現高性能表現的圖像信號處理器 (ISP)。該處理器集高圖像質量、高吞吐量、高能效和芯片面積優勢于一體，適合端點 AI、智能家居攝像頭、AR/VR 和智能顯示屏等應用。該處理器的吞吐量高達 1.2Gpix/sec (每秒 12 億像素)，可帶來更高的性能表現，是嚴苛的視覺處理任務的理想之選。在向異構計算推進過程中，Mali-C55 的設計用途之一便是搭配 Cortex-A 或 Cortex-M CPU，無縫集成到 SoC 設計中。

這一點非常關鍵，因為在 SoC 中，ISP 的輸出通常被直接發送至 ML 加速器中，以便通過神經網絡或類似算法做進一步的處理。這涉及到為 ML 模型提供縮放圖像，以處理諸如物體檢測和姿態估計等任務。

這種協同作用反過來又催生了具備 ML 功能的攝像頭和“軟件定義攝像頭”的概念，使 OEM 廠商和服務提供商能夠在全球范圍內部署攝像頭，并提供具備動態功能增強的迭代功能和商業模式。

舉個例子，假設在一個停車場，每個車位上方都安裝了攝像頭，用于判斷該車位是否泊車。在 2018 年，這是種不錯的解決方案，駛入停車場的駕駛員能夠一眼看到哪里有空余車位。但在 2023 年，這種解決方案已不具經濟性。利用邊緣 AI 的概念，僅在每一層的出入口放置一到兩個攝像頭，利用 AI 算法算出剩余空車位，這樣的方案才符合 2023 年的思維模式。

再次回到大型超市的場景：15,000 個攝像頭每秒產生 225 GB 的數據。現在你應該知道如何提供解決方案了吧？

亞馬遜早已意識到這一問題，在其最新版本的 “Just Walk Out” 商店技術中，攝像頭模塊的計算能力已得到提升。將 AI 部署在邊緣側，以實現更高效、更快速的計算。

借助這樣強大且經濟高效的視覺技術，超市零售商或許可以通過分析店內攝像頭記錄下的視頻數據，進行分析、得到結論，舉例來說，大多數顧客會在上午 9 點至 11 點之間購買橙子，繼而確定在每天中午前后需要補充貨架上的橙子。通過進一步分析，零售商發現很多顧客（出于隱私原因而在視頻數據中匿名）在同一次購物期間還會購買花生。由此，可以根據這些反饋對商品的陳列進行調整。

適當的位置，準確的計算

將適當的邊緣 AI 計算[2]部署在更靠近傳感器的位置，能減少延遲性，提高安全性并降低成本，還可以催生新的業務模式。

視頻監控即服務 (VSaaS)[3] 便是由此誕生的一種業務模式。VSaaS 包含視頻錄制、存儲、遠程管理及網絡安全的配置，將本地攝像頭與云端的視頻管理系統相結合。根據 Transparency Market Research[4] 預測，截至 2027 年，VSaaS 市場規模將達到 1,320 億美元。

然而，從更廣泛的角度來看，許多蘊含巨大機遇仍尚未爆發。受限于經濟、處理能力的限制或純粹的復雜性等因素，許多強大的潛在應用仍在等待迎風而上。比如：

智慧城市：在智慧城市領域，通過視頻分析實現交通管理、人流分析和停車空間優化，由此產生海量數據。

工業自動化：質量控制、缺陷檢測和流程優化。

自動駕駛汽車：自動駕駛汽車（比如自動駕駛汽車和無人機）上的傳感器和攝像頭，為導航和安全系統采集數據，實時感知周圍情況。

虛擬現實 (VR) 和增強現實 (AR)：沉浸式 VR 和 AR 體驗需要實時渲染和處理高分辨率視覺內容，因此會生成大量數據。

走在前沿的實踐者不會作壁上觀。在韓國平澤市，該市的政府計劃利用 AI 和自動駕駛等智慧城市技術構建試點平臺，并將于 2025 年完成，之后計劃逐步在全市進行普及。

這座擁有五十萬人口的城市正努力應對交通擁堵和交通事故導致的行人意外死亡問題。作為全市“智慧城市”改革的一部分，專家們在視覺設備中部署了 Arm 合作伙伴 Nota.ai 的 Nespresso 平臺[5]，這是一種 AI 模型自動壓縮解決方案，有助于打造智能交通系統。

在設備方面，諸多巧妙的設計正在助力客戶實現視覺愿景。例如奇景光電 (Himax) 的 WiseEye-II，這是一款智能影像感測方案，可部署在一系列由電池驅動的消費類和家庭安防應用中，包括筆記本電腦、門鈴、門鎖、攝像頭和智能辦公室。該解決方案與 Arm 微控制器和神經處理器內核相結合，使機器視覺 AI 更深入地融合到消費類和智能家居設備中。

得益于邊緣 AI 技術取得的驚人進步，當下正在開發的示例和為未來創新所做的設計正逐步成為現實。而在視覺領域，這些技術正在基于 Arm 架構而構建。

除了硬件，Arm 還通過軟件庫、互聯標準、安全框架和 Arm 虛擬硬件等開發工具，幫助開發者更快速、更高效地開發圖像解決方案，開發者無需等待硬件就緒，便可在目標架構上對其應用進行虛擬化運行。

過去，人們曾希望利用視覺技術改變世界，挖掘未曾被開發的大量數據，但由于成本和復雜性，這一夢想被認為遙不可及。但現在，它們已成為現實。