雖然物聯(lián)網(wǎng)（IoT）從定義上講是一個意味著連接性的概念，但在消費(fèi)者物聯(lián)網(wǎng)中，對設(shè)備中更多本地或基于邊緣的處理的需求不斷增加，以補(bǔ)充基于云的功能。當(dāng)然，訪問云服務(wù)器對于實(shí)時信息（如新聞，股票報價和其他動態(tài)數(shù)據(jù)）是必要的。但出于成本、性能、隱私和安全原因，更多地轉(zhuǎn)向邊緣已成為越來越重要的優(yōu)先事項。

對于消費(fèi)者來說，人們想要輕松訪問的大部分內(nèi)容（例如個人日歷，備忘錄甚至電子郵件）都可以在本地緩存，從而為我們訪問有用信息的方式提供更高的速度和安全性。此外，天氣等本地化信息可以在本地緩存，有助于提供更快的響應(yīng)，而不必?fù)?dān)心互聯(lián)網(wǎng)延遲。另一個動機(jī)是帶寬：當(dāng)我們安裝新的視頻門鈴時，我們真的想更新我們的數(shù)據(jù)計劃，以支持持續(xù)的直播到云嗎？最后，也許對用戶采用來說最重要的是人類體驗(yàn)：智能設(shè)備需要以更自然的方式表現(xiàn)和反應(yīng) - 包括能夠理解意圖，而不僅僅是命令，識別個人偏好，以及近乎實(shí)時地做出響應(yīng)。由于神經(jīng)網(wǎng)絡(luò)和人工智能的發(fā)展，這些功能現(xiàn)在可以在邊緣實(shí)現(xiàn)。這從集中式智能架構(gòu)（云中的AI）中迎來了分布式智能（邊緣和云中的AI）的時代，這在過去幾年中一直是物聯(lián)網(wǎng)設(shè)備的基石。

從供應(yīng)商的角度來看，除了執(zhí)行這些類型的功能所需的原始處理能力之外，智能設(shè)備還顯著增加了云操作所需的成本和帶寬。谷歌就是一個很好的例子。在分析谷歌搜索中語音識別對Android手機(jī)的影響時，谷歌工程師得出結(jié)論，如果谷歌語音搜索的每個用戶每天只使用三分鐘，該公司將需要兩倍的數(shù)據(jù)中心。尋找更高效的云處理解決方案，如神經(jīng)網(wǎng)絡(luò)加速器和機(jī)器學(xué)習(xí)，有助于在數(shù)據(jù)中心解決這個問題，但從長遠(yuǎn)來看，通過將負(fù)擔(dān)轉(zhuǎn)移到邊緣（和最終用戶）來減少對云的依賴已成為消費(fèi)者物聯(lián)網(wǎng)生態(tài)系統(tǒng)的優(yōu)先戰(zhàn)略。

人機(jī)界面移至邊緣

人機(jī)界面（HMI）是在這個連接設(shè)備的新時代增強(qiáng)用戶體驗(yàn)的關(guān)鍵因素。能夠理解和預(yù)測性地響應(yīng)我們做什么、說什么或觸摸的東西而又不持續(xù)依賴云的機(jī)器，有望徹底改變物聯(lián)網(wǎng)如何在我們的生活中提供前所未有的隱私、便利和生產(chǎn)力。例如，具有更靈敏和更復(fù)雜的語音或視覺界面的智能設(shè)備可以更好地控制照明或溫度或物理訪問，并允許更多的上下文感知，例如用戶個性化，家長控制，運(yùn)動檢測和安全監(jiān)控。

由于 Synaptics 等公司基于邊緣的技術(shù)的進(jìn)步，其中許多功能的處理負(fù)擔(dān)可以在本地設(shè)備上安全地處理。這在用戶體驗(yàn)和成本以及數(shù)據(jù)安全性方面都有直接的好處。從開發(fā)人員的角度來看，對于理解邊緣處理與云處理之間的權(quán)衡至關(guān)重要的幾個指標(biāo)是：

·延遲

·安全

·隱私

·權(quán)力

·可靠性

·成本

·內(nèi)容權(quán)利

今天的邊緣處理平臺可以很好地達(dá)到所有這些標(biāo)準(zhǔn)，設(shè)備制造商和消費(fèi)者都同意，在當(dāng)今的智能家居、商業(yè)和工業(yè)環(huán)境中，任何可以在本地完成的事情都應(yīng)該在“設(shè)備上”實(shí)現(xiàn)。本地緩存、傳感器融合和來自機(jī)器學(xué)習(xí)算法的安全推理都使本地處理的用戶數(shù)量增加，從而在許多方面改善了整體客戶體驗(yàn)。

神經(jīng)網(wǎng)絡(luò)是關(guān)鍵

對于許多物聯(lián)網(wǎng)方案來說，訪問互聯(lián)網(wǎng)對于流媒體電影和音樂以及實(shí)時更新或隨機(jī)信息請求等功能始終是必要的。但是，混合云/邊緣物聯(lián)網(wǎng)的新時代將通過更多的“本地智能”來促進(jìn)，從而減少對始終發(fā)送用戶輸入（可能是語音或視覺）并從云中獲得響應(yīng)的需求（以及成本和風(fēng)險）。在邊緣處理的AI驅(qū)動的神經(jīng)網(wǎng)絡(luò)是解決性能和穩(wěn)健性挑戰(zhàn)以及解決隱私問題的關(guān)鍵。

到目前為止，智能邊緣處理一直被保留用于智能手機(jī)等昂貴的設(shè)備，因?yàn)樗枰罅康挠嬎悖@對于低成本設(shè)備或電器來說是遙不可及的。新一代 SoC 以針對主流消費(fèi)類設(shè)備的價格點(diǎn)提供安全的神經(jīng)網(wǎng)絡(luò)加速。

現(xiàn)在，具有成本效益的基于AI的解決方案可用于提高性能，以創(chuàng)建更人性化的體驗(yàn)。真正的智能設(shè)備將利用多傳感器，始終監(jiān)聽功能來學(xué)習(xí)行為模式并將其與設(shè)備交互相關(guān)聯(lián)。這將使設(shè)備能夠利用隱式通信，而不是僅依賴于當(dāng)今設(shè)備所依賴的顯式通信。最值得注意的是，使設(shè)備具有本地智能將使它們能夠以接近人類的速度做出反應(yīng)。通過不進(jìn)行云調(diào)用來實(shí)現(xiàn)的延遲降低對用戶來說幾乎是即時的。

物聯(lián)網(wǎng)人機(jī)界面變得多模式

語音代表了增長最快的用戶界面，并不斷被持續(xù)的技術(shù)創(chuàng)新重新定義。隨著使用遠(yuǎn)場語音接口的性能和功能的突破，這為支持語音的設(shè)備帶來了更自然的用戶便利性和實(shí)用性。另一個令人興奮的領(lǐng)域是設(shè)備上集成的計算機(jī)視覺，可提供面部，情感和內(nèi)容識別。計算機(jī)視覺現(xiàn)在可以以經(jīng)濟(jì)高效的方式在本地啟用，物聯(lián)網(wǎng)界面的下一步是成為多模態(tài)，語音，手勢，凝視和觸摸都將發(fā)揮作用，并且將通過安全的生物識別進(jìn)一步個性化。

生物識別可以在設(shè)備上實(shí)現(xiàn)，而無需注冊配置文件，它只是將您的聲音與另一個聲音區(qū)分開來，并且通過機(jī)器學(xué)習(xí)，它可以提供專業(yè)內(nèi)容或個性化。一系列額外的模式與人工智能相結(jié)合，將使HMI能夠更好地學(xué)習(xí)和適應(yīng)個人用戶的行為。它將變得上下文感知。為了增強(qiáng)用戶體驗(yàn)，除了語音和視覺用戶界面之外，設(shè)備還應(yīng)該能夠通過用戶在設(shè)備上本地觀看的機(jī)器學(xué)習(xí)方法來分析內(nèi)容。這將允許設(shè)備個性化其界面，以更好地匹配用戶偏好。

邊緣安全推理解決消費(fèi)者關(guān)注的問題

邊緣的安全推理解決了更廣泛地采用物聯(lián)網(wǎng)設(shè)備的許多挑戰(zhàn)，并為人機(jī)界面開辟了新的可能性，無論是視頻、語音、觸摸還是視覺。同時，邊緣處理增加了隱私，安全性和用戶對自己數(shù)據(jù)的控制，因?yàn)閭€人數(shù)據(jù)在設(shè)備上被處理和使用，并且只有匿名信息被發(fā)送到云端。為了使設(shè)備具有上下文感知能力并實(shí)現(xiàn)更無縫的交互，它需要設(shè)備偵聽的不僅僅是一個觸發(fā)詞。

例如，設(shè)備應(yīng)該能夠執(zhí)行復(fù)雜級別的語音到文本和自然語言理解，能夠檢測用戶的人臉并將其與設(shè)備上的數(shù)據(jù)庫進(jìn)行匹配，而無需云資源。使用以云為中心的體系結(jié)構(gòu)啟用此類上下文感知功能會給消費(fèi)者帶來隱私和安全問題。新的分布式架構(gòu)通過在邊緣設(shè)備中進(jìn)行高性能處理來解決這些問題，該設(shè)備可以在沒有云連接的語音識別功能中啟用諸如100，000多個單詞的詞匯表之類的功能。這很重要，因?yàn)樗梢砸苑浅＝?jīng)濟(jì)高效的方式在消費(fèi)者友好的價格點(diǎn)的設(shè)備中實(shí)現(xiàn)。

隱私問題

用戶隱私已成為連接設(shè)備的主要問題。以語音為例，我們可以看到隱私風(fēng)險在哪里：在典型的當(dāng)前一代架構(gòu)中，音頻信號要么直接進(jìn)入CPU或DSP，在那里完成一些處理，然后將實(shí)際的音頻信號傳輸?shù)皆贫恕５侥壳盀橹梗械腁I處理都是在云中進(jìn)行的。在這些實(shí)現(xiàn)中，所有傳感器信息都被發(fā)送到云端（其中大部分在預(yù)期功能方面是不必要的），并且系統(tǒng)中存在多個漏洞點(diǎn)，可以發(fā)生遠(yuǎn)程攻擊 - 無論是利用傳感器數(shù)據(jù)還是提供對個人和敏感信息的直接訪問。即使使用軟件級加密，黑客也需要了解軟件才能繞過它。

需要的是本地（邊緣）硬件級別的企業(yè)級加密。要實(shí)現(xiàn)真正安全的方法，需要一個具有正確傳感器接口的集成解決方案、一個具有可信執(zhí)行環(huán)境的強(qiáng)大應(yīng)用處理器、一個具有硬件信任根的防火墻安全處理器和一個神經(jīng)網(wǎng)絡(luò)加速器。這是突觸為其新的智能邊緣AI SoC解決方案系列開發(fā)的SyNAP框架的基礎(chǔ)方法。對于傳感器接口，最低要求是麥克風(fēng)接口，而RGB傳感器接口有利于實(shí)現(xiàn)額外的上下文感知。安全處理器和神經(jīng)網(wǎng)絡(luò)引擎是實(shí)現(xiàn)安全、可靠且具有提供復(fù)雜用戶體驗(yàn)的健壯性的語音/視覺 UI 的兩個關(guān)鍵要素。

安全處理器的目標(biāo)是通過防火墻傳感器信息和用戶數(shù)據(jù)來抵御惡意攻擊。即使攻擊成功使黑客能夠在設(shè)備上運(yùn)行軟件，但重要的是，任何此類軟件都無法訪問傳感器接口，以及存儲在設(shè)備上的可信執(zhí)行環(huán)境或TEE中的所有用戶數(shù)據(jù)。在安全推理中，傳感器信息和其他用戶數(shù)據(jù)可以由應(yīng)用處理器和神經(jīng)網(wǎng)絡(luò)加速器處理，而數(shù)據(jù)仍然受到應(yīng)用處理器上運(yùn)行的軟件框架以及應(yīng)用處理器上運(yùn)行的惡意代碼的防火墻的監(jiān)視。

通過能夠在邊緣 SoC 上高效運(yùn)行神經(jīng)網(wǎng)絡(luò)處理，目前在云中完成的許多 AI 處理現(xiàn)在可以在本地消費(fèi)者邊緣設(shè)備上完成。這減少了將所有傳感器信息傳輸?shù)皆频男枰瑫r實(shí)現(xiàn)了上下文感知的安全“始終偵聽”HMI。

將一切整合在一起

將設(shè)備內(nèi)所有傳感器信息防火墻的能力與運(yùn)行復(fù)雜機(jī)器學(xué)習(xí)算法的能力相結(jié)合，開辟了一系列以前不切實(shí)際的新應(yīng)用。由于傳感器數(shù)據(jù)是安全的，設(shè)備制造商和消費(fèi)者都可以更有信心地使音頻和圖像傳感器都處于始終在線模式，同時為隱私提供可接受的保證。然后，設(shè)備可以使用其機(jī)器學(xué)習(xí)功能，通過音頻和/或視頻數(shù)據(jù)變得更加具有上下文感知能力。

例如，該設(shè)備可以在始終收聽模式下運(yùn)行語音生物識別、大量詞匯和自然語言理解。這允許設(shè)備不斷分解誰在圍繞它說話，并從演講內(nèi)容中確定是否需要其參與。使用這些信息，設(shè)備可以在不使用“嘿Alexa”等觸發(fā)詞的情況下確定它是否正在被尋址，從而使交互更加無縫。在某些情況下，設(shè)備甚至可以決定發(fā)起對話。然后，隨著時間的推移，設(shè)備可以建立與上下文事件相關(guān)的偏好知識，從而允許設(shè)備以最少的交互確定用戶的意圖。所有這些都不需要連接到云。

由于缺乏物聯(lián)網(wǎng)設(shè)備到設(shè)備的通用通信標(biāo)準(zhǔn)，仍然需要通過云到云的連接從另一個設(shè)備控制另一個設(shè)備。但是，隨著神經(jīng)網(wǎng)絡(luò)加速器在物聯(lián)網(wǎng)邊緣設(shè)備中啟用，它將刺激LAN中的設(shè)備在不進(jìn)入云的情況下相互控制的新趨勢，因?yàn)橐坏〢SR + NLU在設(shè)備上發(fā)生，除了缺乏通信標(biāo)準(zhǔn)之外，沒有真正的理由去云。但是，鑒于 ASR+NLU 是在云上發(fā)生的，因此沒有真正的動力來執(zhí)行可由語音觸發(fā)的真正基于 LAN 的設(shè)備控制。但現(xiàn)在這種情況將會改變，因?yàn)樵贚AN中執(zhí)行此操作具有最低的延遲以及高安全性和隱私性優(yōu)勢。

數(shù)字版權(quán)管理是另一個挑戰(zhàn)。在分析內(nèi)容（用戶從 OTT 源流式傳輸?shù)囊曨l或電影）時，必須考慮與此優(yōu)質(zhì)內(nèi)容關(guān)聯(lián)的內(nèi)容權(quán)利。這些權(quán)限禁止將視頻和音頻軌道的任何部分發(fā)送到集中式服務(wù)器進(jìn)行分析，因此必須在安全和受信任的環(huán)境中在設(shè)備上完成。新的 SoC 可以實(shí)現(xiàn)基于機(jī)器學(xué)習(xí)的內(nèi)容權(quán)限分析，從而在安全可信的執(zhí)行環(huán)境中保護(hù)視頻內(nèi)容。

通過邊緣實(shí)現(xiàn)更高的效率

基于邊緣的處理也是減少需要發(fā)送到云的數(shù)據(jù)量的好方法。例如，能夠在本地運(yùn)行對象和事件檢測的安全攝像頭將節(jié)省大量的互聯(lián)網(wǎng)數(shù)據(jù)帶寬。以1080p錄制的安全攝像機(jī)可以傳輸高達(dá)4Mbps的速率。與云記錄服務(wù)一起安裝的安全攝像頭導(dǎo)致數(shù)據(jù)使用量爆炸式增長，這可能導(dǎo)致用戶快速超出其當(dāng)前數(shù)據(jù)計劃的極限，這并不罕見。這可能會給用戶帶來相當(dāng)大的成本。當(dāng)攝像機(jī)在本地運(yùn)行對象和事件檢測時，可以將其配置為僅在發(fā)生有意義的事情時才將視頻發(fā)送到云。這可以顯著節(jié)省數(shù)據(jù)傳輸成本，并為消費(fèi)者直接節(jié)省成本。

還有許多其他應(yīng)用程序可以在安全攝像頭上啟用。例如，如果攝像機(jī)看到的活動僅來自家庭成員，則可以將其配置為不向云發(fā)送視頻。通過減少產(chǎn)生無意義通知的煩人的錯誤觸發(fā)，以及在通知中提供更有意義的描述，可以使通知更加準(zhǔn)確。攝像機(jī)還可以使用聲學(xué)事件的檢測來啟動云傳輸和通知。

與前面引用的Google語音示例類似，不必存儲相機(jī)生成的所有數(shù)據(jù)可以降低數(shù)據(jù)中心的復(fù)雜性和規(guī)模，從而降低設(shè)備OEM的運(yùn)營費(fèi)用。這是這些設(shè)備 OEM 大力推動邊緣機(jī)器學(xué)習(xí)和 AI 的一個關(guān)鍵原因。

使用AI進(jìn)行邊緣處理將擴(kuò)大消費(fèi)者物聯(lián)網(wǎng)的使用

物聯(lián)網(wǎng)設(shè)備制造商知道基于邊緣的處理的好處，但到目前為止，成本，性能和安全性方面的許多挑戰(zhàn)使得在消費(fèi)產(chǎn)品和系統(tǒng)中實(shí)施變得不切實(shí)際。將邊緣處理與云連接相結(jié)合的更多使用的轉(zhuǎn)變已經(jīng)開始，領(lǐng)先的設(shè)備制造商和平臺供應(yīng)商在這一領(lǐng)域采用Synaptics解決方案就是證明。通過使用先進(jìn)的基于AI的神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)基于邊緣的物聯(lián)網(wǎng)，芯片供應(yīng)商能夠提供廣泛的集成解決方案，以應(yīng)對傳統(tǒng)純云架構(gòu)的挑戰(zhàn)。這種類型的高級人機(jī)界面功能可以經(jīng)濟(jì)高效地在各種設(shè)備中實(shí)現(xiàn)，從而改善和保護(hù)我們的生活。

審核編輯：郭婷