雖然物聯網（IoT）從定義上講是一個意味著連接性的概念，但在消費者物聯網中，對設備中更多本地或基于邊緣的處理的需求不斷增加，以補充基于云的功能。當然，訪問云服務器對于實時信息（如新聞，股票報價和其他動態數據）是必要的。但出于成本、性能、隱私和安全原因，更多地轉向邊緣已成為越來越重要的優先事項。

對于消費者來說，人們想要輕松訪問的大部分內容（例如個人日歷，備忘錄甚至電子郵件）都可以在本地緩存，從而為我們訪問有用信息的方式提供更高的速度和安全性。此外，天氣等本地化信息可以在本地緩存，有助于提供更快的響應，而不必擔心互聯網延遲。另一個動機是帶寬：當我們安裝新的視頻門鈴時，我們真的想更新我們的數據計劃，以支持持續的直播到云嗎？最后，也許對用戶采用來說最重要的是人類體驗：智能設備需要以更自然的方式表現和反應 - 包括能夠理解意圖，而不僅僅是命令，識別個人偏好，以及近乎實時地做出響應。由于神經網絡和人工智能的發展，這些功能現在可以在邊緣實現。這從集中式智能架構（云中的AI）中迎來了分布式智能（邊緣和云中的AI）的時代，這在過去幾年中一直是物聯網設備的基石。

從供應商的角度來看，除了執行這些類型的功能所需的原始處理能力之外，智能設備還顯著增加了云操作所需的成本和帶寬。谷歌就是一個很好的例子。在分析谷歌搜索中語音識別對Android手機的影響時，谷歌工程師得出結論，如果谷歌語音搜索的每個用戶每天只使用三分鐘，該公司將需要兩倍的數據中心。尋找更高效的云處理解決方案，如神經網絡加速器和機器學習，有助于在數據中心解決這個問題，但從長遠來看，通過將負擔轉移到邊緣（和最終用戶）來減少對云的依賴已成為消費者物聯網生態系統的優先戰略。

人機界面移至邊緣

人機界面（HMI）是在這個連接設備的新時代增強用戶體驗的關鍵因素。能夠理解和預測性地響應我們做什么、說什么或觸摸的東西而又不持續依賴云的機器，有望徹底改變物聯網如何在我們的生活中提供前所未有的隱私、便利和生產力。例如，具有更靈敏和更復雜的語音或視覺界面的智能設備可以更好地控制照明或溫度或物理訪問，并允許更多的上下文感知，例如用戶個性化，家長控制，運動檢測和安全監控。

由于 Synaptics 等公司基于邊緣的技術的進步，其中許多功能的處理負擔可以在本地設備上安全地處理。這在用戶體驗和成本以及數據安全性方面都有直接的好處。從開發人員的角度來看，對于理解邊緣處理與云處理之間的權衡至關重要的幾個指標是：

·延遲

·安全

·隱私

·權力

·可靠性

·成本

·內容權利

今天的邊緣處理平臺可以很好地達到所有這些標準，設備制造商和消費者都同意，在當今的智能家居、商業和工業環境中，任何可以在本地完成的事情都應該在“設備上”實現。本地緩存、傳感器融合和來自機器學習算法的安全推理都使本地處理的用戶數量增加，從而在許多方面改善了整體客戶體驗。

神經網絡是關鍵

對于許多物聯網方案來說，訪問互聯網對于流媒體電影和音樂以及實時更新或隨機信息請求等功能始終是必要的。但是，混合云/邊緣物聯網的新時代將通過更多的“本地智能”來促進，從而減少對始終發送用戶輸入（可能是語音或視覺）并從云中獲得響應的需求（以及成本和風險）。在邊緣處理的AI驅動的神經網絡是解決性能和穩健性挑戰以及解決隱私問題的關鍵。

到目前為止，智能邊緣處理一直被保留用于智能手機等昂貴的設備，因為它需要大量的計算，而這對于低成本設備或電器來說是遙不可及的。新一代 SoC 以針對主流消費類設備的價格點提供安全的神經網絡加速。

現在，具有成本效益的基于AI的解決方案可用于提高性能，以創建更人性化的體驗。真正的智能設備將利用多傳感器，始終監聽功能來學習行為模式并將其與設備交互相關聯。這將使設備能夠利用隱式通信，而不是僅依賴于當今設備所依賴的顯式通信。最值得注意的是，使設備具有本地智能將使它們能夠以接近人類的速度做出反應。通過不進行云調用來實現的延遲降低對用戶來說幾乎是即時的。

物聯網人機界面變得多模式

語音代表了增長最快的用戶界面，并不斷被持續的技術創新重新定義。隨著使用遠場語音接口的性能和功能的突破，這為支持語音的設備帶來了更自然的用戶便利性和實用性。另一個令人興奮的領域是設備上集成的計算機視覺，可提供面部，情感和內容識別。計算機視覺現在可以以經濟高效的方式在本地啟用，物聯網界面的下一步是成為多模態，語音，手勢，凝視和觸摸都將發揮作用，并且將通過安全的生物識別進一步個性化。

生物識別可以在設備上實現，而無需注冊配置文件，它只是將您的聲音與另一個聲音區分開來，并且通過機器學習，它可以提供專業內容或個性化。一系列額外的模式與人工智能相結合，將使HMI能夠更好地學習和適應個人用戶的行為。它將變得上下文感知。為了增強用戶體驗，除了語音和視覺用戶界面之外，設備還應該能夠通過用戶在設備上本地觀看的機器學習方法來分析內容。這將允許設備個性化其界面，以更好地匹配用戶偏好。

邊緣安全推理解決消費者關注的問題

邊緣的安全推理解決了更廣泛地采用物聯網設備的許多挑戰，并為人機界面開辟了新的可能性，無論是視頻、語音、觸摸還是視覺。同時，邊緣處理增加了隱私，安全性和用戶對自己數據的控制，因為個人數據在設備上被處理和使用，并且只有匿名信息被發送到云端。為了使設備具有上下文感知能力并實現更無縫的交互，它需要設備偵聽的不僅僅是一個觸發詞。

例如，設備應該能夠執行復雜級別的語音到文本和自然語言理解，能夠檢測用戶的人臉并將其與設備上的數據庫進行匹配，而無需云資源。使用以云為中心的體系結構啟用此類上下文感知功能會給消費者帶來隱私和安全問題。新的分布式架構通過在邊緣設備中進行高性能處理來解決這些問題，該設備可以在沒有云連接的語音識別功能中啟用諸如100，000多個單詞的詞匯表之類的功能。這很重要，因為它可以以非常經濟高效的方式在消費者友好的價格點的設備中實現。

隱私問題

用戶隱私已成為連接設備的主要問題。以語音為例，我們可以看到隱私風險在哪里：在典型的當前一代架構中，音頻信號要么直接進入CPU或DSP，在那里完成一些處理，然后將實際的音頻信號傳輸到云端。到目前為止，所有的AI處理都是在云中進行的。在這些實現中，所有傳感器信息都被發送到云端（其中大部分在預期功能方面是不必要的），并且系統中存在多個漏洞點，可以發生遠程攻擊 - 無論是利用傳感器數據還是提供對個人和敏感信息的直接訪問。即使使用軟件級加密，黑客也需要了解軟件才能繞過它。

需要的是本地（邊緣）硬件級別的企業級加密。要實現真正安全的方法，需要一個具有正確傳感器接口的集成解決方案、一個具有可信執行環境的強大應用處理器、一個具有硬件信任根的防火墻安全處理器和一個神經網絡加速器。這是突觸為其新的智能邊緣AI SoC解決方案系列開發的SyNAP框架的基礎方法。對于傳感器接口，最低要求是麥克風接口，而RGB傳感器接口有利于實現額外的上下文感知。安全處理器和神經網絡引擎是實現安全、可靠且具有提供復雜用戶體驗的健壯性的語音/視覺 UI 的兩個關鍵要素。

安全處理器的目標是通過防火墻傳感器信息和用戶數據來抵御惡意攻擊。即使攻擊成功使黑客能夠在設備上運行軟件，但重要的是，任何此類軟件都無法訪問傳感器接口，以及存儲在設備上的可信執行環境或TEE中的所有用戶數據。在安全推理中，傳感器信息和其他用戶數據可以由應用處理器和神經網絡加速器處理，而數據仍然受到應用處理器上運行的軟件框架以及應用處理器上運行的惡意代碼的防火墻的監視。

通過能夠在邊緣 SoC 上高效運行神經網絡處理，目前在云中完成的許多 AI 處理現在可以在本地消費者邊緣設備上完成。這減少了將所有傳感器信息傳輸到云的需要，同時實現了上下文感知的安全“始終偵聽”HMI。

將一切整合在一起

將設備內所有傳感器信息防火墻的能力與運行復雜機器學習算法的能力相結合，開辟了一系列以前不切實際的新應用。由于傳感器數據是安全的，設備制造商和消費者都可以更有信心地使音頻和圖像傳感器都處于始終在線模式，同時為隱私提供可接受的保證。然后，設備可以使用其機器學習功能，通過音頻和/或視頻數據變得更加具有上下文感知能力。

例如，該設備可以在始終收聽模式下運行語音生物識別、大量詞匯和自然語言理解。這允許設備不斷分解誰在圍繞它說話，并從演講內容中確定是否需要其參與。使用這些信息，設備可以在不使用“嘿Alexa”等觸發詞的情況下確定它是否正在被尋址，從而使交互更加無縫。在某些情況下，設備甚至可以決定發起對話。然后，隨著時間的推移，設備可以建立與上下文事件相關的偏好知識，從而允許設備以最少的交互確定用戶的意圖。所有這些都不需要連接到云。

由于缺乏物聯網設備到設備的通用通信標準，仍然需要通過云到云的連接從另一個設備控制另一個設備。但是，隨著神經網絡加速器在物聯網邊緣設備中啟用，它將刺激LAN中的設備在不進入云的情況下相互控制的新趨勢，因為一旦ASR + NLU在設備上發生，除了缺乏通信標準之外，沒有真正的理由去云。但是，鑒于 ASR+NLU 是在云上發生的，因此沒有真正的動力來執行可由語音觸發的真正基于 LAN 的設備控制。但現在這種情況將會改變，因為在LAN中執行此操作具有最低的延遲以及高安全性和隱私性優勢。

數字版權管理是另一個挑戰。在分析內容（用戶從 OTT 源流式傳輸的視頻或電影）時，必須考慮與此優質內容關聯的內容權利。這些權限禁止將視頻和音頻軌道的任何部分發送到集中式服務器進行分析，因此必須在安全和受信任的環境中在設備上完成。新的 SoC 可以實現基于機器學習的內容權限分析，從而在安全可信的執行環境中保護視頻內容。

通過邊緣實現更高的效率

基于邊緣的處理也是減少需要發送到云的數據量的好方法。例如，能夠在本地運行對象和事件檢測的安全攝像頭將節省大量的互聯網數據帶寬。以1080p錄制的安全攝像機可以傳輸高達4Mbps的速率。與云記錄服務一起安裝的安全攝像頭導致數據使用量爆炸式增長，這可能導致用戶快速超出其當前數據計劃的極限，這并不罕見。這可能會給用戶帶來相當大的成本。當攝像機在本地運行對象和事件檢測時，可以將其配置為僅在發生有意義的事情時才將視頻發送到云。這可以顯著節省數據傳輸成本，并為消費者直接節省成本。

還有許多其他應用程序可以在安全攝像頭上啟用。例如，如果攝像機看到的活動僅來自家庭成員，則可以將其配置為不向云發送視頻。通過減少產生無意義通知的煩人的錯誤觸發，以及在通知中提供更有意義的描述，可以使通知更加準確。攝像機還可以使用聲學事件的檢測來啟動云傳輸和通知。

與前面引用的Google語音示例類似，不必存儲相機生成的所有數據可以降低數據中心的復雜性和規模，從而降低設備OEM的運營費用。這是這些設備 OEM 大力推動邊緣機器學習和 AI 的一個關鍵原因。

使用AI進行邊緣處理將擴大消費者物聯網的使用

物聯網設備制造商知道基于邊緣的處理的好處，但到目前為止，成本，性能和安全性方面的許多挑戰使得在消費產品和系統中實施變得不切實際。將邊緣處理與云連接相結合的更多使用的轉變已經開始，領先的設備制造商和平臺供應商在這一領域采用Synaptics解決方案就是證明。通過使用先進的基于AI的神經網絡來實現基于邊緣的物聯網，芯片供應商能夠提供廣泛的集成解決方案，以應對傳統純云架構的挑戰。這種類型的高級人機界面功能可以經濟高效地在各種設備中實現，從而改善和保護我們的生活。

審核編輯：郭婷