在近期舉辦的嵌入式視覺大會上，來自Xilinx合作伙伴安富利（Avnet）的高級FPGA/DSP設計工程師Mario Bergeron向大家展示了一款雙攝像頭采集圖像并實現融合的演示Demo。硬件平臺采用的是Avnet PicoZed SOM（片上系統），核心集成的是Xilinx Zynq Z-7030 SoC，同時還用到了PicoZed嵌入式開發套件的FMC擴展板卡等模塊。采用的兩款攝像頭分別是FMC接口的Python-1300-C彩色圖像傳感器，分辨率達1280x1024，配置靈活，敏感度高，性能高，主要應用于工業圖像采集應用，同樣是安富利（Avnet）公司設計生產的。另一個攝像頭采用的是FLIR紅外熱成像傳感器，輸出60x80分辨率的紅外視頻流，通過Pmod接口實現與PicoZed SoM的通信與數據傳輸。

圖1：安富利（Avnet）雙攝像頭圖像融合應用模塊設計

首先對彩色圖像進行了Sobel邊緣檢測處理，然后對紅外圖像進行拉伸處理（warped）并重新調整大小（resize），這樣才能夠將兩幅圖像進行融合。開發過程中充分借助了Xilinx reVISION Stack資源，Sobel邊緣檢測和重新調整圖像大小的算法都直接來自reVISION Stack提供的算法庫，圖像融合部分是工程師Mario Bergeron采用C語言實現的，因為這三部分算法模塊都是計算密集型任務，因此采用Vivado HLS進行綜合創建硬件加速器模塊，然后借助SDSoC工具實現加速器模塊與ARM處理器的通信連接，生成軟件接口驅動程序。

圖2：安富利（Avnet）圖像融合方案設計開發流程

整個系統的性能如何呢？我們以Sobel邊緣檢測模塊做一下對比，如果采用非硬件加速的Sobel算法，使得Zynq Z-7030 SoC的ARM Cortex-A9處理器的負載瞬間達到100%，輸出的圖像也僅為1幀/秒，如果采用硬件加速即使用Zynq Z-7030 SoC的可編程資源來實現圖像輸出能夠達到30幀/秒，同時ARM處理器的負載也降低了80%，具體測試情況如下面視頻所示：

Xilinx reVISION Stack包括豐富的平臺、算法和應用開發資源，支持最流行的神經網絡，針對應用層開發，提供完善工業級框架，包括面向機器學習的Caffe和面向計算機視覺的OpenVX。Xilinx reVISION Stack支持更廣泛的沒有或者很少硬件設計專業知識的嵌入式軟件和系統工程師，使其與機器學習、計算機視覺、傳感器融合，從而可以更快速地開發視覺導向的智能系統。