恩智浦敢為人先，敢于引領(lǐng)和創(chuàng)新。恩智浦一直致力于為i.MX應(yīng)用處理器的攝像頭模塊接口提供支持。恩智浦也在許多SoC上實(shí)現(xiàn)了CPU和GPU等共享資源的機(jī)器學(xué)習(xí)。這一功能仍然運(yùn)行良好 （根據(jù)應(yīng)用的需求而異），這篇文章將闡述恩智浦為何決定對(duì)其進(jìn)行升級(jí)，并在i.MX 8M Plus中添加圖像信號(hào)處理器 （ISP） 和機(jī)器學(xué)習(xí) （ML） 加速器。

機(jī)器學(xué)習(xí)的重要性與日俱增

在云端進(jìn)行機(jī)器學(xué)習(xí)是支持人們使用智能手機(jī)語(yǔ)音助手或智能揚(yáng)聲器語(yǔ)音助手的關(guān)鍵技術(shù)，它還支持社交媒體甚至手機(jī)對(duì)包含特定人員的照片進(jìn)行分組。但這些用例都依賴在云端服務(wù)器上運(yùn)行的機(jī)器學(xué)習(xí)。

恩智浦解決的真正挑戰(zhàn)是邊緣機(jī)器學(xué)習(xí)。所有機(jī)器學(xué)習(xí)推理在i.MX 8M Plus等邊緣處理器進(jìn)行本地運(yùn)行。在邊緣運(yùn)行ML推理意味著，即使網(wǎng)絡(luò)訪問中斷，應(yīng)用也能夠繼續(xù)運(yùn)行——這對(duì)于監(jiān)控或異常檢測(cè)等應(yīng)用至關(guān)重要，對(duì)在沒有網(wǎng)絡(luò)接入的偏遠(yuǎn)地區(qū)運(yùn)行也非常重要。與必須將數(shù)據(jù)發(fā)送到服務(wù)器進(jìn)行處理并將結(jié)果發(fā)回的情況相比，在邊緣運(yùn)行ML推理還降低了決策延遲。例如，當(dāng)執(zhí)行工業(yè)工廠現(xiàn)場(chǎng)目視檢查時(shí)，或需要決定是接受還是拒絕一掠而過(guò)的產(chǎn)品時(shí)，低延遲至關(guān)重要。

邊緣機(jī)器學(xué)習(xí)的另一個(gè)關(guān)鍵優(yōu)勢(shì)是保護(hù)數(shù)據(jù)安全。收集的專有數(shù)據(jù)（如邊緣設(shè)備捕獲的員工、生產(chǎn)和物流數(shù)據(jù)）將在邊緣進(jìn)行處理并保存在本地。系統(tǒng)不會(huì)把信息發(fā)送到云端進(jìn)行處理，僅在云端進(jìn)行記錄和跟蹤。企業(yè)的隱私不會(huì)受到損害，企業(yè)可自行決定是否在云端共享信息。

需要什么程度的邊緣機(jī)器學(xué)習(xí)？

現(xiàn)在，考慮到對(duì)邊緣機(jī)器學(xué)習(xí)的需求較大，問題變成了需要什么程度的機(jī)器學(xué)習(xí)。衡量機(jī)器學(xué)習(xí)加速器的一種方法是每秒的運(yùn)算次數(shù) （通常是8位整數(shù)相乘或累加），通常稱為TOPS（即每秒萬(wàn)億次運(yùn)算）。這是基本基準(zhǔn)，因?yàn)檎w系統(tǒng)性能也受許多其他因素影響，但TOPS是使用最多的機(jī)器學(xué)習(xí)測(cè)量方法之一。

事實(shí)證明，在邊緣進(jìn)行完整的語(yǔ)音識(shí)別 （不只是關(guān)鍵字識(shí)別） 需要大約1-2個(gè)TOPS （具體取決于算法，如果希望了解用戶想表達(dá)的意思，而不僅僅是將語(yǔ)音轉(zhuǎn)換為文本，則需要更多運(yùn)算次數(shù)）。以60fps執(zhí)行目標(biāo)檢測(cè) （使用Yolov3等算法） 也需要大約2-3個(gè)TOPS。因此，機(jī)器學(xué)習(xí)加速 （如i.MX 8M Plus的2.3 TOPS） 是這類應(yīng)用的最佳選擇。

下一步：圖像信號(hào)處理器 （ISP）

所有基于攝像頭的系統(tǒng)中都具有ISP功能，盡管有時(shí)可以集成到攝像頭模塊或嵌入到應(yīng)用處理器中，并且可能對(duì)用戶隱藏。ISP通常會(huì)進(jìn)行多種類型的圖像增強(qiáng)，其主要目的是將原始圖像傳感器的每像素輸出的單色分量轉(zhuǎn)換為系統(tǒng)中其他部分更常用的RGB或YUV圖像。

當(dāng)攝像頭輸入來(lái)自網(wǎng)絡(luò)或網(wǎng)絡(luò)攝像頭 （一般通過(guò)以太網(wǎng)或USB連接到應(yīng)用處理器） 時(shí)，沒有ISP的應(yīng)用處理器在基于視覺的系統(tǒng)中運(yùn)行良好。對(duì)于這些應(yīng)用，攝像頭可以與處理器保持一定距離，甚至可以達(dá)到100米左右。攝像頭本身內(nèi)置了ISP和處理器，可轉(zhuǎn)換圖像傳感器信息并對(duì)視頻流進(jìn)行編碼，然后再通過(guò)網(wǎng)絡(luò)發(fā)送。

沒有ISP的應(yīng)用處理器也適用于分辨率相對(duì)較低的攝像頭。在100萬(wàn)像素或更低的分辨率下，圖像傳感器通常內(nèi)置了ISP，可將RGB或YUV圖像輸出到應(yīng)用處理器，處理器內(nèi)不需要ISP。

但在約200萬(wàn)像素 （1080p） 或更高的分辨率下，大多數(shù)圖像傳感器沒有內(nèi)置ISP，而是依賴系統(tǒng)中其他部件的ISP。可能依賴獨(dú)立的ISP芯片 （可以運(yùn)行，但會(huì)增加系統(tǒng)的功率和成本），也可能依賴集成在應(yīng)用處理器中的ISP。正因如此，恩智浦選擇采用i.MX 8M Plus的解決方案——提供高質(zhì)量的成像，同時(shí)也是優(yōu)化的成像解決方案，特別是在200萬(wàn)像素和更高分辨率的情況下。

借助基于智能視覺的系統(tǒng)，智能工廠可以提高生產(chǎn)率、質(zhì)量和安全性。

推動(dòng)智能邊緣設(shè)備的發(fā)展

綜上所述，i.MX 8M Plus應(yīng)用處理器集2.3 TOPS機(jī)器學(xué)習(xí)加速器和ISP于一身，無(wú)論是用于智能樓宇、智慧城市還是工業(yè)物聯(lián)網(wǎng)應(yīng)用，都將成為邊緣嵌入式視覺系統(tǒng)的關(guān)鍵元件。

借助嵌入式ISP，它可以打造直連到本地圖像傳感器的高質(zhì)量圖像優(yōu)化系統(tǒng)，甚至可以將這些圖像數(shù)據(jù)提供給較新的機(jī)器學(xué)習(xí)算法，所有這些都可以減輕本地機(jī)器學(xué)習(xí)加速器的負(fù)擔(dān)。

采用為機(jī)器學(xué)習(xí)和視覺系統(tǒng)而優(yōu)化的i.MX 8M Plus架構(gòu)，邊緣設(shè)備設(shè)計(jì)人員能夠像恩智浦一樣敢為人先，敢于引領(lǐng)和創(chuàng)新。他們擁有強(qiáng)大的機(jī)器學(xué)習(xí)能力，配合高清攝像頭系統(tǒng)，能夠讓設(shè)備看得更清晰、更遠(yuǎn)。嵌入式領(lǐng)域不斷涌現(xiàn)新的創(chuàng)新機(jī)遇。