在近期舉辦的嵌入式視覺大會(huì)上，來自Xilinx合作伙伴安富利（Avnet）的高級(jí)FPGA/DSP設(shè)計(jì)工程師Mario Bergeron向大家展示了一款雙攝像頭采集圖像并實(shí)現(xiàn)融合的演示Demo。硬件平臺(tái)采用的是Avnet PicoZed SOM（片上系統(tǒng)），核心集成的是Xilinx Zynq Z-7030 SoC，同時(shí)還用到了PicoZed嵌入式開發(fā)套件的FMC擴(kuò)展板卡等模塊。采用的兩款攝像頭分別是FMC接口的Python-1300-C彩色圖像傳感器，分辨率達(dá)1280x1024，配置靈活，敏感度高，性能高，主要應(yīng)用于工業(yè)圖像采集應(yīng)用，同樣是安富利（Avnet）公司設(shè)計(jì)生產(chǎn)的。另一個(gè)攝像頭采用的是FLIR紅外熱成像傳感器，輸出60x80分辨率的紅外視頻流，通過Pmod接口實(shí)現(xiàn)與PicoZed SoM的通信與數(shù)據(jù)傳輸。

圖1：安富利（Avnet）雙攝像頭圖像融合應(yīng)用模塊設(shè)計(jì)

首先對(duì)彩色圖像進(jìn)行了Sobel邊緣檢測處理，然后對(duì)紅外圖像進(jìn)行拉伸處理（warped）并重新調(diào)整大?。╮esize），這樣才能夠?qū)煞鶊D像進(jìn)行融合。開發(fā)過程中充分借助了Xilinx reVISION Stack資源，Sobel邊緣檢測和重新調(diào)整圖像大小的算法都直接來自reVISION Stack提供的算法庫，圖像融合部分是工程師Mario Bergeron采用C語言實(shí)現(xiàn)的，因?yàn)檫@三部分算法模塊都是計(jì)算密集型任務(wù)，因此采用Vivado HLS進(jìn)行綜合創(chuàng)建硬件加速器模塊，然后借助SDSoC工具實(shí)現(xiàn)加速器模塊與ARM處理器的通信連接，生成軟件接口驅(qū)動(dòng)程序。

圖2：安富利（Avnet）圖像融合方案設(shè)計(jì)開發(fā)流程

整個(gè)系統(tǒng)的性能如何呢？我們以Sobel邊緣檢測模塊做一下對(duì)比，如果采用非硬件加速的Sobel算法，使得Zynq Z-7030 SoC的ARM Cortex-A9處理器的負(fù)載瞬間達(dá)到100%，輸出的圖像也僅為1幀/秒，如果采用硬件加速即使用Zynq Z-7030 SoC的可編程資源來實(shí)現(xiàn)圖像輸出能夠達(dá)到30幀/秒，同時(shí)ARM處理器的負(fù)載也降低了80%，具體測試情況如下面視頻所示：

Xilinx reVISION Stack包括豐富的平臺(tái)、算法和應(yīng)用開發(fā)資源，支持最流行的神經(jīng)網(wǎng)絡(luò)，針對(duì)應(yīng)用層開發(fā)，提供完善工業(yè)級(jí)框架，包括面向機(jī)器學(xué)習(xí)的Caffe和面向計(jì)算機(jī)視覺的OpenVX。Xilinx reVISION Stack支持更廣泛的沒有或者很少硬件設(shè)計(jì)專業(yè)知識(shí)的嵌入式軟件和系統(tǒng)工程師，使其與機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、傳感器融合，從而可以更快速地開發(fā)視覺導(dǎo)向的智能系統(tǒng)。