如果說傳統(tǒng)物聯(lián)網(wǎng)更多體現(xiàn)的是線性思維，即物體產(chǎn)生數(shù)據(jù)，通過互聯(lián)網(wǎng)傳到云端，然后分析產(chǎn)生價(jià)值。那么今天的物聯(lián)網(wǎng)則完全是立體三維概念，需要同時(shí)解決實(shí)時(shí)應(yīng)用、成本、分析預(yù)測(cè)、精準(zhǔn)性、人工智能、信息安全等多重問題。如何讓這些元素之間產(chǎn)生和諧的動(dòng)力，將計(jì)算濃度和計(jì)算分布變成“邊云協(xié)同”的分布式架構(gòu)，是當(dāng)前業(yè)界最為關(guān)注的話題。

物聯(lián)網(wǎng)正從邊緣側(cè)趨向負(fù)載整合

人工智能的發(fā)展離不開數(shù)據(jù)，因?yàn)樗枰罅康臄?shù)據(jù)進(jìn)行訓(xùn)練。在當(dāng)前這樣一個(gè)萬(wàn)物智能互聯(lián)的時(shí)代，數(shù)據(jù)量的產(chǎn)生速度超出了一般人的想象。以智能攝像頭為例，隨著攝像頭的分辨率從1080P轉(zhuǎn)向4K，其一天所采集到的數(shù)據(jù)量將達(dá)到200GB。面臨同樣問題的還包括智能醫(yī)院、自動(dòng)駕駛和智能工廠，它們一天所產(chǎn)生的數(shù)據(jù)將分別超過3TB、4TB和1PB。有人做過這樣的預(yù)測(cè)，到2020年，一個(gè)互聯(lián)網(wǎng)用戶平均每天將產(chǎn)生的數(shù)據(jù)量大概是1.5GB。

然而物聯(lián)網(wǎng)行業(yè)體量巨大，碎片化程度嚴(yán)重，將人工智能推向邊緣側(cè)其實(shí)并不是一件簡(jiǎn)單的事情。況且在2012年以前，人工智能在做圖像識(shí)別時(shí)的準(zhǔn)確度是低于人類的。下圖中，虛線代表人類識(shí)別水平，實(shí)線代表機(jī)器識(shí)別錯(cuò)誤率。可以看到，2012年以前機(jī)器識(shí)別的錯(cuò)誤率還是高于人類的，但呈逐漸下降趨勢(shì)，2012年之后，隨著AlexNet等神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，人工智能水平才出現(xiàn)了質(zhì)的飛躍。

因此，在一個(gè)邊緣協(xié)同的端到端系統(tǒng)中，由于不同網(wǎng)源的功耗、計(jì)算性能和所能承擔(dān)的成本各不相同，在選取硬件架構(gòu)時(shí)往往會(huì)有特定要求。英特爾副總裁兼物聯(lián)網(wǎng)事業(yè)部中國(guó)區(qū)總經(jīng)理陳偉博士對(duì)《電子工程專輯》表示，英特爾的做法是根據(jù)用戶需求提供不同架構(gòu)的解決方案，涵蓋至強(qiáng)處理器、至強(qiáng)融核處理器、Movidius/Nervana神經(jīng)網(wǎng)絡(luò)處理器和FPGA、網(wǎng)絡(luò)、存儲(chǔ)技術(shù)等硬件平臺(tái)，以及多種軟件工具及函數(shù)庫(kù)，優(yōu)化開源框架，來讓他們進(jìn)行自主選擇。

英特爾中國(guó)區(qū)物聯(lián)網(wǎng)事業(yè)部首席技術(shù)官兼首席工程師張宇博士則強(qiáng)調(diào)了在邊緣側(cè)趨向負(fù)載整合是物聯(lián)網(wǎng)演進(jìn)的一個(gè)必然趨勢(shì)。也就是說，原來在不同設(shè)備上分立的負(fù)載會(huì)越來越多地通過虛擬化等技術(shù)，整合到一個(gè)單一的高性能的計(jì)算平臺(tái)上，來實(shí)現(xiàn)一個(gè)綜合的復(fù)雜的功能，各個(gè)功能子系統(tǒng)既能分享設(shè)備提供的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源，還能具有一定的獨(dú)立性，避免彼此的相互影響，從而可以簡(jiǎn)化系統(tǒng)架構(gòu)，降低系統(tǒng)總體。

同時(shí)，負(fù)載整合實(shí)際上也為邊緣計(jì)算的實(shí)現(xiàn)以及為實(shí)施人工智能的應(yīng)用提供了條件。整合后的設(shè)備既是邊緣數(shù)據(jù)的匯聚節(jié)點(diǎn)，同時(shí)也是邊緣控制的中心，這為邊緣智能提供了處理所需的數(shù)據(jù)，同時(shí)也提供了控制的入口。因此英特爾認(rèn)為人工智能和負(fù)載整合的結(jié)合，會(huì)在今后的邊緣計(jì)算的系統(tǒng)里發(fā)生。

視頻是終極物聯(lián)網(wǎng)傳感器

來自《戰(zhàn)略師的物聯(lián)網(wǎng)指南》 的數(shù)據(jù)顯示，到2021年，邊緣到云行業(yè)支出預(yù)計(jì)將達(dá)到110億美元。在這一涵蓋智能制造、智慧城市等領(lǐng)域的巨大物聯(lián)網(wǎng)機(jī)遇中，智能設(shè)備、傳感器和互聯(lián)事物捕捉的視頻將會(huì)占據(jù)60億美元的份額。

為此，英特爾日前面向軟件開發(fā)人員以及開發(fā)、監(jiān)控、零售、醫(yī)療、辦公自動(dòng)化、自動(dòng)駕駛等領(lǐng)域的數(shù)據(jù)科學(xué)家，最新推出了OpenVINO(Open Visual Inference & Neural Network Optimization, 開放視覺推理及神經(jīng)網(wǎng)絡(luò)優(yōu)化)軟件平臺(tái)。這是一個(gè)快速開發(fā)高性能計(jì)算機(jī)視覺和深度學(xué)習(xí)視覺應(yīng)用的工具包，包括英特爾深度學(xué)習(xí)部署工具包，具有模型優(yōu)化器、推理引擎、超過20個(gè)預(yù)先訓(xùn)練的模型，以及面向OpenCV和OpenVx的優(yōu)化計(jì)算機(jī)視覺庫(kù)。OpenVINO工具包可通過CPU、GPU、FPGA、Movidius VPU等硬件進(jìn)行部署，增強(qiáng)視覺系統(tǒng)功能和性能，輕松實(shí)現(xiàn)邊緣到云的異構(gòu)執(zhí)行。

測(cè)試結(jié)果顯示，在英特爾酷睿i7 7800X處理器上運(yùn)行Google Nex網(wǎng)絡(luò)，相應(yīng)的性價(jià)比是目前市場(chǎng)上主流解決方案的兩倍以上；如果選用FPGA，其性能、功耗、成本比值的綜合考量性能大概能達(dá)到1.4倍以上；而使用Movidius的話，性能可進(jìn)一步提升至5倍以上。

作為一家平臺(tái)化的公司，英特爾鎖定高性能計(jì)算機(jī)視覺和深度學(xué)習(xí)視覺兩大熱點(diǎn)領(lǐng)域，并提供包括CPU、核顯(Integrated GPU)和深度學(xué)習(xí)加速器(FPGA、Movidius VPU)在內(nèi)的完整硬件解決方案都不令人意外。但在陳偉看來，實(shí)際應(yīng)用中，不但指望產(chǎn)生一個(gè)一勞永逸方案的想法是不切實(shí)際的，即便在如何深度挖掘這些硬件的計(jì)算潛力方面，也仍然存在很多壁壘。

計(jì)算機(jī)視覺和深度學(xué)習(xí)開發(fā)工具OpenVINO

從人工智能的演進(jìn)過程中可以看到，早期的人工智能計(jì)算，無論是訓(xùn)練還是推理都發(fā)生在數(shù)據(jù)中心，因?yàn)橹挥袛?shù)據(jù)中心才能夠提供如此驚人的計(jì)算力和電力的消耗。然而近年來，隨著網(wǎng)絡(luò)壓縮算法的廣泛使用，以及人工智能專用芯片的出現(xiàn)，使得一些深度學(xué)習(xí)運(yùn)算可以從云端推送到邊緣，使得智能攝像機(jī)、智能網(wǎng)絡(luò)視頻存儲(chǔ)器、NVR等產(chǎn)品逐步面世。

在整個(gè)端到端的網(wǎng)絡(luò)中，不同的網(wǎng)源所能提供的計(jì)算量是不一樣的，能夠支持的操作系統(tǒng)也各不相同，因此有各自適用的芯片架構(gòu)。比如在攝像機(jī)里，一個(gè)攝像機(jī)的功耗大概15瓦，從15瓦里能夠提供給做智能運(yùn)算的能量有2-3瓦，對(duì)于這樣的使用場(chǎng)景，類似于ASIC這樣的架構(gòu)是最適宜的；然而在數(shù)據(jù)中心中，通用處理器又是最適宜的，這就給開發(fā)者帶來了一定的困擾。簡(jiǎn)單而言，就是說為某一種芯片所開發(fā)的軟件在面對(duì)一個(gè)新架構(gòu)時(shí)，很可能是不適用的，這樣無形中就增加了開發(fā)的門檻。

張宇說自己跟很多從事人工智能應(yīng)用開發(fā)的開發(fā)者交流過，發(fā)現(xiàn)最大的困擾來自以下兩個(gè)方面：一是網(wǎng)絡(luò)模型已經(jīng)訓(xùn)練完畢，但由于推理平臺(tái)能力有限，只能下載網(wǎng)絡(luò)模型的一部分而不是全部；另外一個(gè)則是將訓(xùn)練好的模型推送到推理平臺(tái)之后，不是性能達(dá)不到設(shè)計(jì)要求，就是模型框架得不到英特爾Movidius或是FPGA架構(gòu)的支持。

在視覺領(lǐng)域，傳統(tǒng)的計(jì)算機(jī)視覺和深度學(xué)習(xí)方法都在被廣泛使用中。深度學(xué)習(xí)方法在物體檢測(cè)、目標(biāo)識(shí)別方面已經(jīng)開始替代傳統(tǒng)的計(jì)算機(jī)視覺，但在光流計(jì)算或是圖像增強(qiáng)領(lǐng)域，計(jì)算機(jī)視覺仍然有自己的用武之地。

OpenVINO對(duì)這兩類方法都有很好的支持，從而幫助開發(fā)者將已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)模型部署到目標(biāo)平臺(tái)之上進(jìn)行推理操作。考慮到目前比較流行的深度學(xué)習(xí)框架包括Caffe、Tensor Flow、MxNet三種，模型優(yōu)化器和推理引擎可以把開發(fā)者基于開放的深度學(xué)習(xí)框架所開發(fā)的網(wǎng)絡(luò)模型，針對(duì)所選用的目標(biāo)平臺(tái)進(jìn)行優(yōu)化，然后將這些優(yōu)化的結(jié)果轉(zhuǎn)換成包含網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、模型參數(shù)和模型變量的中間表述文件(IR文件)供推理引擎讀取，再利用相應(yīng)的硬件插件將IR文件下載到目標(biāo)平臺(tái)上進(jìn)行執(zhí)行，開發(fā)者可以通過測(cè)試程序或應(yīng)用來驗(yàn)證結(jié)果的正確性。

傳統(tǒng)計(jì)算機(jī)視覺工具庫(kù)則是經(jīng)過預(yù)編譯的，支持OpenCV3.3版本。此外，OpenVINO還包含了對(duì)OpenVX以及OpenVX在神經(jīng)網(wǎng)絡(luò)擴(kuò)展的支持，同時(shí)在媒體、視頻、圖像處理領(lǐng)域還包含了已經(jīng)非常成熟的英特爾媒體軟件開發(fā)套件(Media SDK)，可以幫助開發(fā)者非常方便的利用英特爾CPU里面集成顯卡的資源來實(shí)現(xiàn)多種視頻格式(H.264、H.265)的編碼、解碼以及轉(zhuǎn)碼的操作。這樣，一個(gè)工具庫(kù)同時(shí)支持多種操作系統(tǒng)，用戶可以非常方便的調(diào)用英特爾硬件資源，實(shí)現(xiàn)性能的提升，達(dá)到事半功倍的效果。

讓我們一起看看集成了高級(jí)軟硬件的英特爾視覺解決方案是如何在邊緣節(jié)點(diǎn)(包括攝像頭和本地服務(wù)器)處促進(jìn)強(qiáng)大的深度學(xué)習(xí)推理功能在各行各業(yè)中的應(yīng)用：

交通監(jiān)控。采用英特爾FPGA和Movidius? VPU的攝像頭可捕捉數(shù)據(jù)，并自動(dòng)將其發(fā)送至下游十字路口系統(tǒng)，幫助交通部門優(yōu)化交通和做好規(guī)劃。這些信息可通過車載系統(tǒng)或應(yīng)用直接傳達(dá)給司機(jī)，幫助他們規(guī)劃路線。

公共安全。借助使用OpenVINO?工具包開發(fā)的Myriad VPU和算法，經(jīng)過訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)現(xiàn)在可利用推理功能通用面部識(shí)別分析并識(shí)別失蹤兒童。采用了這一技術(shù)的城市執(zhí)法機(jī)構(gòu)可在經(jīng)過訓(xùn)練的數(shù)據(jù)集匹配到人群中已報(bào)告失蹤兒童的臉部時(shí)，即時(shí)收到相關(guān)通知。

工業(yè)自動(dòng)化。英特爾視覺解決方案可幫助智能工廠融合OT和IT，重塑工業(yè)業(yè)務(wù)模式和增長(zhǎng)戰(zhàn)略。生產(chǎn)控制將可自動(dòng)、流暢運(yùn)轉(zhuǎn)，縮短上市時(shí)間。

機(jī)器視覺。借助人工智能增強(qiáng)工業(yè)機(jī)器視覺，支持更精準(zhǔn)的工廠自動(dòng)化應(yīng)用。解決方案組合攝像頭、電腦和算法，以分析圖像和視頻，在邊緣提供可以用于指導(dǎo)行動(dòng)的重要信息。

響應(yīng)式零售。在邊緣使用英特爾計(jì)算機(jī)視覺解決方案的零售商，可以快速識(shí)別特定客戶或客戶行為模式，從而提供個(gè)性化的精準(zhǔn)營(yíng)銷服務(wù)。

運(yùn)營(yíng)管理。通過使用基于英特爾架構(gòu)的計(jì)算機(jī)視覺解決方案，零售商可簡(jiǎn)化運(yùn)營(yíng)、管理庫(kù)存、優(yōu)化供應(yīng)鏈和增強(qiáng)推銷能力，并幫助他們發(fā)掘數(shù)據(jù)的更高價(jià)值。

OpenVINO中的關(guān)鍵先生

既能夠?qū)崿F(xiàn)Caffe、Tensor Flow、MxNet框架之上所開發(fā)的模型導(dǎo)入，還能夠進(jìn)行模型優(yōu)化，采用Python語(yǔ)言進(jìn)行編寫的模型優(yōu)化器居功至偉。一個(gè)簡(jiǎn)單的使用場(chǎng)景就是在通用處理器上所產(chǎn)生的訓(xùn)練結(jié)果，由于受到數(shù)據(jù)精度、內(nèi)存、操作系統(tǒng)等多方面的限制，在部署到前端的嵌入式推理平臺(tái)上時(shí)會(huì)受到各種限制，而在模型優(yōu)化器的幫助下，就可以自動(dòng)實(shí)現(xiàn)。

張宇列舉了兩個(gè)優(yōu)化的案例。第一，在做訓(xùn)練的時(shí)候，有可能會(huì)存在一個(gè)Dropout層，它的主要作用是在訓(xùn)練過程中讓一定比例的神經(jīng)元失效，從而避免在訓(xùn)練過程中讓模型參數(shù)陷入局部極小值，導(dǎo)致失去最優(yōu)效果。但Dropout層在做推理的時(shí)候是沒有必要的，因此OpenVINO中的模型優(yōu)化器可以自動(dòng)檢測(cè)當(dāng)前的網(wǎng)絡(luò)模型，如果發(fā)現(xiàn)有Dropout層存在，就會(huì)自動(dòng)將其剔除掉。第二，將神經(jīng)網(wǎng)絡(luò)模型里包含的卷積層、全鄰接層、激活函數(shù)層的網(wǎng)絡(luò)優(yōu)化工作交給模型優(yōu)化器進(jìn)項(xiàng)實(shí)現(xiàn)，目前英特爾已經(jīng)驗(yàn)證超過了150個(gè)在Caffe、MxNet和Tensor Flow上所設(shè)計(jì)的模型。

推理引擎也是深度學(xué)習(xí)部署套件的一個(gè)重要組成部分，由一套C++函數(shù)庫(kù)組成。它可經(jīng)過簡(jiǎn)單、統(tǒng)一的API接口來支持英特爾的所有架構(gòu)，實(shí)現(xiàn)深度學(xué)習(xí)推理所需要的操作，例如對(duì)數(shù)據(jù)的讀取，對(duì)輸入輸出數(shù)據(jù)格式的定義、以及調(diào)用相應(yīng)的硬件插件等。

目前，用戶可以把中間文件下載到英特爾Arria10 FPGA板卡之上，調(diào)用DLA庫(kù)，實(shí)現(xiàn)在FPGA上的網(wǎng)絡(luò)推理操作；或者通過MKLDN插件，把中間文件下載到英特爾凌動(dòng)、酷睿和至強(qiáng)處理器上，在這些通用CPU之上實(shí)現(xiàn)深度學(xué)習(xí)的運(yùn)行；再或者，通過CLDNN和OpenCL的接口將神經(jīng)網(wǎng)絡(luò)運(yùn)行在英特爾的集成顯卡之上，以及利用Movidius插件把神經(jīng)網(wǎng)絡(luò)運(yùn)行在基于Myriad2/Myriad X深度學(xué)習(xí)計(jì)算棒上。今后，如果有一個(gè)新的硬件架構(gòu)需要支持，就可以設(shè)計(jì)一個(gè)相應(yīng)的插件來實(shí)現(xiàn)功能的擴(kuò)展，而不需要改變插件之上的軟件，從而能夠保護(hù)開發(fā)者的開發(fā)成本。

OpenVINO工具套件的另一個(gè)優(yōu)勢(shì)在于它的訪問實(shí)際上是分層的，不同的開發(fā)者可以根據(jù)自己的使用要求和開發(fā)能力去選擇不同的API接口進(jìn)行調(diào)用。對(duì)于新手來說，OpenVINO里包含了很多應(yīng)用的示例，比如物體檢測(cè)、人臉識(shí)別等；對(duì)于能力更強(qiáng)的用戶，OpenVINO可提供網(wǎng)絡(luò)的實(shí)現(xiàn)，也被稱作Model Zoo，他們可以在此基礎(chǔ)之上實(shí)現(xiàn)相應(yīng)的應(yīng)用開發(fā)。如果要設(shè)計(jì)一些新的網(wǎng)絡(luò)模型，或是直接調(diào)用硬件底層接口實(shí)現(xiàn)對(duì)硬件的直接訪問，則可以利用模型優(yōu)化器和推理引擎將網(wǎng)絡(luò)模型轉(zhuǎn)換成硬件可識(shí)別的語(yǔ)言后，再下載到硬件平臺(tái)上進(jìn)行執(zhí)行。