在這篇文章中，前賽靈思機器視覺市場戰(zhàn)略總監(jiān)Aaron Behman 針對嵌入式視覺方面的問題進行了介紹，并解讀了賽靈思 All Programmable Zynq? SoC 的獨特解決方案。希望能為讀者了解該領(lǐng)域的問題有所幫助。
?

一、嵌入式視覺四大普遍趨勢

嵌入式視覺可劃分為兩個高級類別；感知環(huán)境和采取行動。視覺導(dǎo)向的機器人和無人機屬于后面的采取行動類。

在民用領(lǐng)域，目前無人機是商業(yè)、醫(yī)療、農(nóng)業(yè)、廣播和執(zhí)法應(yīng)用中最熱門的話題之一。對許多這樣的應(yīng)用，無人機可提供顯著的優(yōu)勢。在廣播和執(zhí)法領(lǐng)域，無人機能夠以低得多的成本提供之前需要直升機才能提供的能力。無人機還能執(zhí)行預(yù)訂服務(wù)，例如即將推出的 Amazon Prime 交貨服務(wù)，或者如烏干達偏遠地區(qū)的醫(yī)療產(chǎn)品交貨服務(wù)。在農(nóng)業(yè)應(yīng)用中，無人機能使用高光譜成像來判斷作物的健康狀況。而這些應(yīng)用，只不過是目前已經(jīng)在使用或正在考慮使用無人機技術(shù)應(yīng)用的冰山一角。

農(nóng)業(yè)無人機應(yīng)用示例

這些應(yīng)用，綜合起來體現(xiàn)著我們在嵌入式視覺總體環(huán)境中觀察到的嵌入式視覺當(dāng)前四大普遍趨勢中的三大趨勢：

1、邊緣（edge）端通過機器學(xué)習(xí)獲得的智能化 – 智能化嵌入在無人機本身內(nèi)部，需要從它的攝像頭提取信息并根據(jù)該信息采取行動，達成自己的目標(biāo)。

2、開放式高級語言和框架 – 在無人機中實現(xiàn)智能化需要高級框架和語言。這些中最常用的是開源多平臺框架，比如嵌入式環(huán)境里的 OpenCV、OpenVX，以及在機器學(xué)習(xí)環(huán)境里的 Tensor Flow 和 Caffe。

3、多層次的安全性 – 用于確保無人機不僅能夠運行，且不能影響安全性和信息獲取。這種方法要求在器件、系統(tǒng)和網(wǎng)絡(luò)層面實現(xiàn)多層次的安全性。

第四個趨勢是嵌入式視覺的普及化。雖然視覺導(dǎo)向的機器人和無人機還不像我們的手機一樣普及——我們常在旅行中用手機來翻譯標(biāo)牌等用途，隨著新用例被發(fā)掘出來，使用視覺導(dǎo)向的機器人和無人機的應(yīng)用正處于快速發(fā)展中。

在架構(gòu)層面無人機擁有一些關(guān)鍵的子系統(tǒng)，包括實時精準(zhǔn)的馬達控制系統(tǒng)、提供與無人機雙向通信的軟件無線電和精確的嵌入式視覺系統(tǒng)。視覺導(dǎo)向的機器人和無人機主要針對大部分電池供電的應(yīng)用，因此設(shè)計高能效解決方案的能力極為重要。

高精度嵌入式視覺系統(tǒng)提供高幀率，其處理圖像和根據(jù)圖像采取行動的能力要遠超過人眼。對許多應(yīng)用來說，需要使用多個攝像頭來形成立體多視覺，以完整掌握無人機周邊環(huán)境。這也稱為傳感器融合。雖然許多應(yīng)用使用多攝像頭方法來觀察環(huán)境，部分應(yīng)用還會把設(shè)計用于觀測電磁場頻譜不同組成部分的攝像頭結(jié)合起來使用，例如在超光譜或紅外應(yīng)用中的情況。在使用多個相同類型傳感器的時候這一般稱為同構(gòu)，在使用不同傳感器技術(shù)的時候稱為異構(gòu)。

在算法層面，這種高精度嵌入式視覺系統(tǒng)運行的算法有同步定位與地圖構(gòu)建（SLAM）和稠密光流（Dense Optical Flow），以為平臺提供增強型感知和避障系統(tǒng)。這些算法還與更傳統(tǒng)的模式和對象識別算法結(jié)合。

稠密光流設(shè)計

視覺導(dǎo)向的機器人和無人機因此不僅需要強大的處理能力，還需要有能力進行功耗優(yōu)化，提供面向未來且具有可擴展性的解決方案。

All Programmable Zynq? SoC 可針對您面臨的問題提供獨特的解決方案。Zynq 提供的高性能邏輯，與雙核 ARM? A9 處理器集成可打造出緊密集成的異構(gòu)處理單元。該異構(gòu)處理單元能夠在處理器內(nèi)或可編程邏輯內(nèi)實現(xiàn)高效率的功能細分。

使用基于 ARM 的處理系統(tǒng)，可以在邊緣開展極為復(fù)雜的實時視覺分析。在與可編程邏輯架構(gòu)結(jié)合后，它提供實時檢測對象然后使用處理器系統(tǒng)分類對象的能力。分類完成后，視覺導(dǎo)向機器人系統(tǒng)或無人機就能針對檢測出的對象類采取適當(dāng)?shù)男袆印?/p>

為在邊緣實現(xiàn)實時視覺分析，我們運用了機器學(xué)習(xí)提供的智能化技術(shù)。要執(zhí)行這些算法，我們首先需要模型并提供大型培訓(xùn)數(shù)據(jù)集，使模型能夠進行分析。在極高性能工作站上進行培訓(xùn)，得到的分類器被用于實現(xiàn)方案中。開展這類機器學(xué)習(xí)有多種不同的方法可供選擇，例如卷積神經(jīng)網(wǎng)絡(luò)、深度神經(jīng)網(wǎng)絡(luò)或遞歸神經(jīng)網(wǎng)絡(luò)。

當(dāng)我們在邊緣實現(xiàn)這些模型時，我們不需要與培訓(xùn)相同水平的性能。可以使用整數(shù)或浮點數(shù)學(xué)，兩者都能方便地實現(xiàn)在 All Programmable SoC 中。

SoC 內(nèi)的可編程邏輯架構(gòu)本身具有可重編程性，這意味著該器件能支持任意連接。同時處理系統(tǒng)內(nèi)的多路復(fù)用 IO（MIO）提供通過多種常用協(xié)議（從 SPI、I2C 和串行到千兆以太網(wǎng)、CAN 和 USB）連接的能力，擁有極為靈活的從該設(shè)備輸入/輸出數(shù)據(jù)的方式。

Zynq 同時接口和處理多個攝像頭輸入的實例

對使用的圖像傳感器來說，可編程邏輯架構(gòu)還能夠支持最適合于目前應(yīng)用的特定傳感器。與限制傳感器接口和圖像處理流水線的一些標(biāo)準(zhǔn)解決方案不同。

這種高度的靈活性能夠打造出面向未來的設(shè)計方案。目前它可以先實例化一個接口，然后隨著新標(biāo)準(zhǔn)的出現(xiàn)，重新編程已經(jīng)部署的系統(tǒng)以支持新標(biāo)準(zhǔn)。可編程邏輯的靈活性還體現(xiàn)在能從一個標(biāo)準(zhǔn)轉(zhuǎn)換到另一個標(biāo)準(zhǔn)。

在同構(gòu)和異構(gòu)傳感器融合方面，這個最大的 SoC 產(chǎn)品系列提供充足的可編程邏輯架構(gòu)，能實現(xiàn) 20 個以上的視覺通道并讓每一個通道并行運行。

因為這些通道實現(xiàn)在可編程邏輯架構(gòu)內(nèi)，設(shè)計工程人員不受定義的圖像處理路徑制約，相反他們有能力為目前的應(yīng)用實現(xiàn)所需的特定圖像處理流水線。

就生成圖像處理流水線而言，和普通的想法不同的是我們不必使用 HDL 重新生成一切。在標(biāo)準(zhǔn) Vivado? IP 庫內(nèi)提供了一些圖像處理內(nèi)核，使用 AXI Streaming 接口就能夠連接。使用 AXI Streaming 接口便于把靈活、可擴展的圖像處理流水線創(chuàng)建成標(biāo)準(zhǔn)接口，用在所有的 IP 模塊上。這種標(biāo)準(zhǔn)化能縮短初始開發(fā)時間，便于隨著產(chǎn)品規(guī)劃圖的延伸更容易地升級和復(fù)用。

當(dāng)然許多圖像處理算法相當(dāng)復(fù)雜，需要先在 OpenCV 或 MATLAB 等應(yīng)用中建模。OpenCV 能與 Vivado? 高層次綜合視頻庫結(jié)合，即 OpenCV 庫的可綜合版本，極為簡便地為我們的流水線實現(xiàn)圖像處理算法。隨后這些算法能拉回到 Vivado 內(nèi)的圖像處理流水線中，縮短開發(fā)和驗證時間。

另外，還可以實現(xiàn)基于 MathWorks MATLAB 流程的模型設(shè)計流程。它能夠先在模型層面定義整個圖像處理流水線，然后在定義底層的代碼。

不過大多數(shù)現(xiàn)代應(yīng)用都必須考慮安全性，以防范對系統(tǒng)、系統(tǒng)數(shù)據(jù)的無授權(quán)改動或訪問，或是防范惡意黑客攻擊。開發(fā)安全設(shè)計必須從系統(tǒng)層面自上而下考慮。不過使用 All Programmable SoC 能提供一系列器件級和系統(tǒng)級安全功能，讓實現(xiàn)工作變得簡便易行。Zynq SoC 能夠?qū)?dǎo)向與配置流程進行加密和認證。也可使用 Trust Zone 技術(shù)創(chuàng)建正交環(huán)境，限制軟件借助管理程序訪問底層硬件。同時，內(nèi)置的 XADC 能用于監(jiān)測器件電壓和溫度以及外部參數(shù)，提供防篡改方法。還有一些功能能實現(xiàn)在設(shè)計中，進一步增強安全性。

All Programmable SoC 能實現(xiàn)多個并行圖像處理流水線以及同構(gòu)/異構(gòu)傳感器融合，然后實時執(zhí)行視覺分析和決策，而且提供對電池供電系統(tǒng)非常關(guān)鍵的極高效的單位功耗性能。借助內(nèi)在的靈活性，All Programmable SoC 能提供真正的差異化因素，值得在設(shè)計中考慮使用，尤其是在需要考慮單位功耗像素數(shù)量的時候。

結(jié)論

隨著使用視覺導(dǎo)向發(fā)機器人和無人機應(yīng)用的快速發(fā)展，視覺導(dǎo)向的機器人和無人機本身也正在飛速發(fā)展。要開發(fā)出擁有理想單位功耗性能的高精度視覺系統(tǒng)，最好是使用 All Programmable SoC。All Programmable SoC 能實現(xiàn)大量并行處理鏈，在邊緣完成傳感器融合和實時分析，同時提供高能效、高靈活度和高安全性的系統(tǒng)。

二、賽靈思 All Programmable SoC

視覺導(dǎo)向的的機器人和無人機高度依賴前面介紹的嵌入式視覺應(yīng)用來成功完成自己的使命。支持視覺導(dǎo)向的的機器人和無人機的這些嵌入式視覺應(yīng)用的實現(xiàn)就是賽靈思 All Programmable SoC。賽靈思 All Programmable SoC在單個器件中實現(xiàn)處理系統(tǒng)與可編程邏輯的強大組合，支持硬件加速計算。

在這些應(yīng)用中通常實現(xiàn)的算法有多種，最常見的三種是：
1、環(huán)視系統(tǒng) – 這些系統(tǒng)用于生成車輛周邊環(huán)境的三維可視化，實現(xiàn)對環(huán)境的進一步了解。典型的環(huán)視系統(tǒng)使用球面攝像頭。環(huán)視往往用于需要同步定位與地圖構(gòu)建（SLAM）和光流的應(yīng)用中。

2、全景攝像頭 – 這些攝像頭為周邊環(huán)境提供360度視野，用于監(jiān)控應(yīng)用和車輛可視化。

3、異構(gòu)傳感器融合 – 融合來自電磁頻譜不同組成部分的圖像，例如紅外成像，以增強低光/夜視性能。

實現(xiàn)這些算法會帶來幾個必須解決的共同挑戰(zhàn)，例如：透鏡校正、消除透鏡失真、視角轉(zhuǎn)換、使用并行表面進行視頻紋理填充。

結(jié)合電磁頻譜中可視部分和紅外部分的傳感器融合實例

另一個是如何呈現(xiàn)最終圖像。這就帶來了多通道處理和多通道同步的難題，但這是保證所有攝像頭都顯示相同幀所需要的。

當(dāng)然多通道處理和同步問題并不只局限于視覺導(dǎo)向的的機器人和無人機應(yīng)用，這是許多嵌入式視覺應(yīng)用的通病。視覺導(dǎo)向的的機器人和無人機也是檢測和分類對象，實現(xiàn)自動和半自動操作所需要的。

運用IP

在工程項目中實現(xiàn)這些復(fù)雜的圖像處理算法堪稱一項壯舉。它需要具有專家級技能水平的工程師正確地在 SoC 內(nèi)實現(xiàn)算法。這些工程師能夠針對目標(biāo)架構(gòu)開發(fā)和優(yōu)化特定問題。取得這樣的技能需要企業(yè)聘用一個長期工程師或分包工程師。除了需要取得專家級技能，由于需要全新開發(fā)這些功能，還會延長產(chǎn)品上市時間。

使用專業(yè)提供商開發(fā)的 IP，無需尋找專家級工程師，同時還能夠縮短開發(fā)時間，從而加速產(chǎn)品上市進程。它還能夠讓開發(fā)企業(yè)集中精力實現(xiàn)產(chǎn)品增值，確保嵌入式視覺產(chǎn)品在市場上占據(jù)有力地位。

使用現(xiàn)有的、基于成熟技術(shù)的 IP 模塊還降低了項目的總體風(fēng)險。在項目上使用商用 IP 核，還能與輔助合同一起提供，讓內(nèi)核能無縫集成到您的應(yīng)用中。

有數(shù)個 IP 模塊作為 Vivado? Design Suite 標(biāo)配提供，其它用于嵌入式解決方案的高級商用 IP 由多家第三方供應(yīng)商提供。

其中一個這樣的圖像處理庫組合就是 Xylon 在他們的 LogicBRICKS IP 庫中提供的。該庫專門為在 Vivado Design Suite 中使用進行了優(yōu)化。一旦這些 IP 模塊運用到 Vivado 設(shè)計中，它們就能夠根據(jù)應(yīng)用的要求加以定制。

在 logicBRICKS IP 庫內(nèi)有數(shù)個對開發(fā)視覺導(dǎo)向的的機器人和無人機應(yīng)用有重要意義的 IP 模塊。

在嵌入式視覺應(yīng)用中往往使用基于梯度方向直方圖（HOG）分類器來檢測和跟蹤對象。HOG分類器使用屬于機器學(xué)習(xí)一部分的支持向量機（SVM）。在 logicBRICK 庫內(nèi)有一個以 LogiHOG 形式提供的 HOG 分類器，能夠檢測多達四個不同的 SVM 分類器，從而并行檢測多個對象。這些 SVM 經(jīng)訓(xùn)練和更新后能適應(yīng)天氣和燈光等多種不同條件。

工作中的 LogiHOG 分類器

LogicBRICKS 庫中有多種其他常用的 IP 核，可用于簡化開發(fā)工作。另外還有幾種圖像信號處理流水線可供設(shè)計人員實現(xiàn)在自己的設(shè)計中。這些圖像處理內(nèi)核提供完整解決方案，支持創(chuàng)建高達 4K2K P60 的流水線。這些流水線在 SoC 內(nèi)與攝像頭界面接口，因此能夠支持多種不同的攝像頭技術(shù)。

開發(fā)流程遵循傳統(tǒng) SoC 開發(fā)，根據(jù)運行要求配置 SoC。LogicBRICKS 庫中的 IP 核隨后插入到可編程邏輯架構(gòu)中，以構(gòu)成具備所需功能的圖像處理流水線。然后用運行在 ARM? A9 內(nèi)核上的應(yīng)用軟件提供的 API 調(diào)用按要求實時地精調(diào)算法。

許多應(yīng)用使用的是高動態(tài)范圍攝像頭。動態(tài)范圍代表的是傳感器捕獲擁有寬范照度強度的圖像的能力，一般使用 dB 或比率來表達。這意味著同一幅圖像中可以同時有高照度區(qū)域和黑暗區(qū)域。通過增強圖像的照度和圖像局部區(qū)域的亮度，logiHDR 內(nèi)核提供與這些攝像頭接口并從圖像中提取最大細節(jié)的能力。

為專門應(yīng)用加速

在使用免費或商用 IP 實現(xiàn)大部分圖像處理流水線后，要讓應(yīng)用功能完整，還有需要實現(xiàn)的其余功能。使用 SoC 就能在處理器中或是在可編程邏輯中完成這一步。使用 SDSoC? 開發(fā)工具，我們能無縫地在這兩者間移植功能，加快首先用高級語言開發(fā)的應(yīng)用的設(shè)計速度。

要發(fā)揮 SDSoC 的功能，我們可以使用 IP 核定義一個包含底層圖像處理流水線的新平臺。SDSoC 隨后就能夠使用可用的邏輯和互聯(lián)資源加速設(shè)計。

在 SDSoC 內(nèi)有多個庫可供設(shè)計人員開發(fā)能在可編程邏輯內(nèi)加速的應(yīng)用。具體到圖像處理，主要有兩個支持 HLS 的庫：
1、HLS_video – 該庫提供嵌入式視覺功能和數(shù)據(jù)結(jié)構(gòu)。這些元素可綜合在一起。
2、HLS_OpenCV – 該庫提供預(yù)先編譯的 OpenCV 功能，以及與 IP 模塊接口所需的專門支持功能。該庫目的是供測試臺使用，因此不可綜合。

許多算法將使用 OpenCV 等開源圖像處理框架開發(fā)。因此，在使用 SDSoC 開發(fā)以加速為目的的系統(tǒng)時，設(shè)計人員希望使用熟悉的框架。這就是 HLS_OpenCV 庫配合 SDSoC 開發(fā)工具發(fā)揮作用的地方。它提供與加速功能接口所需的功能。

OpenCV 組元中最基本的是 cv::mat 類，用于定義以 X 軸和 Y 軸表示的圖像大小以及像素信息。例如每個像素內(nèi)的位數(shù)、有符號還是無符號、多少個通道構(gòu)成一個像素。這個類是我們使用 OpenCV 時如何存儲和操作圖像的基礎(chǔ)。

在 HLS 庫中有一個類似的結(jié)構(gòu)，即 hls::mat。鑒于 HLS 流是創(chuàng)建圖像處理流水線的標(biāo)準(zhǔn)接口，該庫還提供一些讓我們能把 hls::mat 類轉(zhuǎn)化為 HLS 流或把 HLS 流轉(zhuǎn)化為 hls::mat 類的功能。cv::mat 類和 hls::mat 類之間的主要區(qū)別在于 hls::mat 類被定義為適用可編程邏輯架構(gòu)的像素流，這與屬于內(nèi)存映射的 cv::mat 類不同。流實現(xiàn)和內(nèi)存映射實現(xiàn)之間的這種差別意味著我們使用 hls::mat 類時不必隨即訪問像素。

這樣就能夠使用處理器內(nèi)的雙 ARM A9 內(nèi)核完成應(yīng)用的初步開發(fā)，確保算法的功能。在需要該功能時，可編程邏輯中的算法就能被加速。設(shè)計人員可使用追蹤和 AXI 性能監(jiān)測等 SDSoC 功能優(yōu)化加速性能。

結(jié)論

視覺導(dǎo)向的的機器人和無人機技術(shù)在開發(fā)嵌入式視覺算法的過程中面臨一系列的難題，但這些算法可幫助視覺導(dǎo)向的的機器人和無人機了解所處環(huán)境并根據(jù)得到的信息做出決策。為協(xié)助這些圖像處理系統(tǒng)的開發(fā)工作，設(shè)計人員可使用 IP 核提供的功能，并運用 SDSoC 等系統(tǒng)級開發(fā)工具，生成所需的最終硬件加速功能。