新一年的集創(chuàng)賽已如火如荼的展開~

為了讓大家更多的了解該賽事，小編整理了2021年的優(yōu)秀作品供學(xué)習(xí)分享

在每周一為大家分享獲獎(jiǎng)作品，記得來看連載喲 ~

團(tuán)隊(duì)介紹

參賽單位：上海電力大學(xué)

隊(duì)伍名稱：駭行隊(duì)

總決賽獎(jiǎng)項(xiàng)：二等獎(jiǎng)

1.摘要

隨著信息技術(shù)的發(fā)展，AGV(Automated Guided Vehicle，AGV)無人自動(dòng)導(dǎo)航小車已被廣泛應(yīng)用于智能制造、智慧物流等場(chǎng)景。AGV搬運(yùn)車的導(dǎo)航系統(tǒng)主要利用視覺、激光雷達(dá)等傳感器，其主控系統(tǒng)大多使用多個(gè)芯片及其復(fù)雜嵌入式系統(tǒng)實(shí)現(xiàn)，成本高、功耗大、實(shí)時(shí)性差。為了解決這一問題，本設(shè)計(jì)在Xilinx FPGA平臺(tái)上構(gòu)建了ARM-M3軟核，設(shè)計(jì)了加速雙目視差圖像計(jì)算的SOC及相關(guān)控制外設(shè)，驗(yàn)證了單個(gè)芯片引導(dǎo)AGV小車的基本功能。本設(shè)計(jì)主要工作體現(xiàn)在如下幾個(gè)方面。

1) 在Xilinx Artix XC7A200T平臺(tái)上構(gòu)建了ARM-M3微處理器及相關(guān)外設(shè)。通過OV5640雙目相機(jī)進(jìn)行圖像采集，經(jīng)協(xié)處理器加速，ARM-M3微處理器分析周圍的環(huán)境進(jìn)行路徑規(guī)劃最終產(chǎn)生PWM信號(hào)驅(qū)動(dòng)小車進(jìn)行運(yùn)動(dòng)。

2)在硬件方面，本設(shè)計(jì)自制了OV5640雙目相機(jī)及SiC780碳化硅電機(jī)驅(qū)動(dòng)板。通過對(duì)雙目視覺的原理進(jìn)行分析，自制的雙目相機(jī)選用了平行式雙目立體視覺模式作為設(shè)計(jì)方案。得益于小車使用的麥克納姆輪全向移動(dòng)平臺(tái)及自制的大電流碳化硅驅(qū)動(dòng)板，小車可以自由靈活地進(jìn)行各種運(yùn)動(dòng)。

3)在算法方面，本設(shè)計(jì)對(duì)傳統(tǒng)的立體匹配算法進(jìn)行了并行優(yōu)化，使得算法的運(yùn)行速度得到了極大地提升，最終實(shí)現(xiàn)了資源消耗、功耗、運(yùn)行速度三者較好的平衡。為了消除圖像的徑向畸變、傾斜畸變及切向畸變，本設(shè)計(jì)采用了張正友標(biāo)定法對(duì)雙目相機(jī)進(jìn)行標(biāo)定和校正。利用Matlab的自動(dòng)標(biāo)定工具Stereo Camera Calibrator App得到了相機(jī)的內(nèi)外參數(shù)并代入校正算法最終實(shí)現(xiàn)了圖像的校正。

4)在測(cè)試方面，本文分析了傳統(tǒng)立體匹配算法中存在的特征匹配耗時(shí)過長、匹配錯(cuò)誤較多的問題，并在樹莓派3B以及PC機(jī)進(jìn)行了相關(guān)的對(duì)比實(shí)驗(yàn)。

5)在應(yīng)用場(chǎng)景方面，采集視頻數(shù)據(jù)自行構(gòu)建二維碼數(shù)據(jù)集，使用TensorFlow訓(xùn)練定點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)，利用HLS構(gòu)建CNN IP核，使之具備二維碼檢測(cè)能力。

2.系統(tǒng)功能介紹

2.1 總體介紹

本作品的目標(biāo)是在ARM公司提供的ARM CortexM3 DesignStart RTL Eval處理器IP的基礎(chǔ)上，設(shè)計(jì)AGV小車自主視覺避障專用SOC，開發(fā)出能夠感知障礙物的雙目深度視覺協(xié)處理器。

設(shè)計(jì)內(nèi)容包括：

開發(fā)了基于BM(Block Maching)算法的雙目立體匹配智能協(xié)處理器;

設(shè)計(jì)并制作了OV5640雙目立體相機(jī)電路板 ，及雙目相機(jī)視頻采集Verilog驅(qū)動(dòng)IP;

設(shè)計(jì)了用于顯示參數(shù)和圖像的LCD 驅(qū)動(dòng);

設(shè)計(jì)制作了運(yùn)動(dòng)控制模塊驅(qū)動(dòng)板，及相關(guān)PWM驅(qū)動(dòng);

控制具備全位移動(dòng)能力的麥克納姆車進(jìn)行避障演示。

構(gòu)建CNN IP核，使之具備二維碼檢測(cè)能力。

2.2 系統(tǒng)流程

本系統(tǒng)在Xilinx FPGA Artix XC7A200T上構(gòu)建ARM Cortex-M3處理器，搭配自行設(shè)計(jì)的OV5640雙目相機(jī)采集視頻并利用VDMA存入DDR中。深度加速模塊根據(jù)相機(jī)標(biāo)定參數(shù)進(jìn)行畸變矯正和立體匹配，并將所得的視差圖進(jìn)行緩存。M3軟核從DDR中讀取視差圖，計(jì)算與前方障礙的相對(duì)距離并進(jìn)行路徑規(guī)劃。最后讀取幀率數(shù)據(jù)，將相機(jī)圖像，視差結(jié)果，運(yùn)動(dòng)方向和圖像幀率在LCD上顯示，并根據(jù)規(guī)劃結(jié)果控制小車。

3.系統(tǒng)架構(gòu)

3.1 架構(gòu)簡(jiǎn)介

系統(tǒng)主要由視頻采集、圖像處理、實(shí)時(shí)顯示和運(yùn)動(dòng)控制四個(gè)模塊組成。

A、視頻采集模塊由相機(jī)采集、寄存器配置、視頻流轉(zhuǎn)換三個(gè)子模塊構(gòu)成，實(shí)現(xiàn)對(duì)自行設(shè)計(jì)的雙目相機(jī)分辨率和成像參數(shù)配置，并將采集數(shù)據(jù)傳輸?shù)綀D像處理模塊。

B、圖像處理模塊由配置為高性能模式的AXI連接器將VDMA、幀率計(jì)數(shù)器、深度加速核以及OSD結(jié)果呈現(xiàn)四個(gè)子模塊互相連接，實(shí)現(xiàn)視差圖計(jì)算和幀率計(jì)數(shù)功能，最后由結(jié)果呈現(xiàn)模塊進(jìn)行匯總傳遞給顯示模塊進(jìn)行顯示。

C、顯示模塊由視頻流轉(zhuǎn)換、視頻時(shí)序控制器、動(dòng)態(tài)時(shí)鐘、和VGA顯示四個(gè)子模塊構(gòu)成。根據(jù)高性能視頻系統(tǒng)參考設(shè)計(jì)搭建視頻顯示模塊的結(jié)構(gòu)和參數(shù)配置。視頻時(shí)序控制器產(chǎn)生1080p對(duì)應(yīng)的行場(chǎng)同步信號(hào)交由視頻流轉(zhuǎn)換子模塊輸出到VGA顯示模塊，動(dòng)態(tài)時(shí)鐘可由用戶自行配置來驅(qū)動(dòng)VGA顯示模塊以適配不同的屏幕分辨率。在上述幾個(gè)模塊的協(xié)作下實(shí)現(xiàn)分辨率為1080p刷新率為60Hz的圖像和運(yùn)行參數(shù)顯示。

D、運(yùn)動(dòng)控制模塊主要由ARM-M3核、UART、GPIO、PWM子模塊等模塊構(gòu)成。M3核讀取DDR中深度加速模塊的結(jié)果進(jìn)行簡(jiǎn)單計(jì)算，實(shí)現(xiàn)對(duì)前方障礙物距離的估計(jì)，從而進(jìn)行路徑規(guī)劃。最后讀取視頻采集模塊和深度輸出模塊的幀率數(shù)據(jù)同小車運(yùn)行方向一起輸出到結(jié)果呈現(xiàn)模塊和UART串口 ，實(shí)現(xiàn)實(shí)時(shí)運(yùn)行參數(shù)的呈現(xiàn)。

3.2 軟硬功能劃分

相較于傳統(tǒng)單片機(jī)串行采集相機(jī)數(shù)據(jù)，傳輸單個(gè)像素進(jìn)行顯示,根據(jù)定時(shí)器中斷產(chǎn)生PWM，以及在PC機(jī)上都難以實(shí)現(xiàn)的穩(wěn)定視差圖計(jì)算輸出在本系統(tǒng)中都由硬件實(shí)現(xiàn)，極大減輕了CPU負(fù)擔(dān)。

軟件部分主要在Keil中由C語言實(shí)現(xiàn)，主要用于初始化各個(gè)外設(shè)，配置相機(jī)寄存器。初始化完成后讀取幀率計(jì)數(shù)模塊數(shù)據(jù)和深度加速模塊的結(jié)果，根據(jù)公式進(jìn)行簡(jiǎn)單的四則運(yùn)算完成對(duì)距離的估計(jì)。根據(jù)估計(jì)結(jié)果配置PWM模塊和顯示模塊的寄存器實(shí)現(xiàn)運(yùn)動(dòng)控制和實(shí)時(shí)顯示。

3.3 外設(shè)掛載

本系統(tǒng)的中央處理單元是由ARM公司提供的ARM CortexM3 DesignStart RTL Eval，整個(gè)系統(tǒng)及外設(shè)部署在Xilinx xc7a200tfbg484 FPGA平臺(tái)上。本系統(tǒng)的主要由Cortex-M3軟核，OV5640雙目攝像頭模塊，深度加速模塊，DDR3內(nèi)存控制器，VGA顯示器，AHB總線矩陣、AXI總線及APB低速外設(shè)等相關(guān)模塊組成，詳細(xì)框圖如下圖所示。

4.模塊及系統(tǒng)功能仿真與測(cè)試

4.1 相機(jī)測(cè)試仿真

OV5640攝像頭的寄存器配置由M3軟核控制GPIO模擬SCCB實(shí)現(xiàn)，使用DSLogic邏輯分析儀捕獲引腳電平，其配套軟件DSView可以解析與SCCB兼容的IIC協(xié)議,顯示不同電平組合對(duì)應(yīng)的命令和數(shù)據(jù)。

4.2 加速模塊仿真

4.3 CNN二維碼檢測(cè)

二維碼的圖案相較于自然場(chǎng)景具有更簡(jiǎn)單的結(jié)構(gòu)和紋理，本設(shè)計(jì)針對(duì)二維碼圖像的這一特點(diǎn)，構(gòu)建了一個(gè)簡(jiǎn)單的CNN網(wǎng)絡(luò)，該CNN網(wǎng)絡(luò)包括三個(gè)卷積層、三個(gè)池化層和兩個(gè)全連接層。

輸入的圖像通過不同的卷積核產(chǎn)生不同的特征圖像用于提取目標(biāo)不同的特征值。經(jīng)過卷積操作，可以完成對(duì)輸入圖像的降維和特征提取。為了進(jìn)一步降低特征圖的維度并減少FPGA資源消耗，每一個(gè)卷積層后還需要加上一個(gè)池化層來減少數(shù)據(jù)的空間大小并控制過擬合。

全連接層是一個(gè)矩陣乘法，相當(dāng)于一個(gè)特征空間變換，可以把有用的信息提取并整合。全連接的主要目標(biāo)是維度變換，將高維的數(shù)據(jù)變成低維的數(shù)據(jù)。

經(jīng)過上述運(yùn)算之后，可以得到輸入圖像中含有二維碼的概率。

4.4 模塊和系統(tǒng)的整體測(cè)試結(jié)果

在室外放置兩個(gè)紙箱作為路徑障礙來進(jìn)行系統(tǒng)的整體測(cè)試。下圖節(jié)選自視頻中小車對(duì)第二個(gè)障礙物進(jìn)行避障操作參考圖中兩個(gè)障礙物的位置可知，在前進(jìn)過程中前方物體距離太近時(shí)進(jìn)行避障操作。當(dāng)障礙物不再位于小車正前方時(shí)繼續(xù)前進(jìn)，達(dá)到避障的效果。

5.參賽體會(huì)

通過本次比賽我們對(duì)基于ARM核的SOC設(shè)計(jì)有了一個(gè)初步的認(rèn)識(shí)。通過ARM核+協(xié)處理器的方式使得整個(gè)系統(tǒng)在計(jì)算深度圖像時(shí)的圖像采集性能、功耗、成本優(yōu)于常見的嵌入式系統(tǒng)及一般性能的PC機(jī)。相較于傳統(tǒng)單片機(jī)串行采集相機(jī)數(shù)據(jù)，傳輸單個(gè)像素進(jìn)行顯示，根據(jù)定時(shí)器中斷產(chǎn)生PWM，以及在PC機(jī)上都難以實(shí)現(xiàn)的穩(wěn)定視差圖計(jì)算輸出在本系統(tǒng)中都由硬件實(shí)現(xiàn)，極大減輕了CPU負(fù)擔(dān)。

本設(shè)計(jì)使用的FPGA芯片是Xilinx FPGA Artix XC7A200T。在參賽的過程中我們發(fā)現(xiàn)，當(dāng)LUT的消耗大于10W，用量大于70%時(shí)，布線所用時(shí)長將成倍的增加，時(shí)序也將很難收斂。

關(guān)于安芯教育

安芯教育是聚焦AIoT(人工智能+物聯(lián)網(wǎng))的創(chuàng)新教育平臺(tái)，提供從中小學(xué)到高等院校的貫通式AIoT教育解決方案。

安芯教育依托Arm技術(shù)，開發(fā)了ASC(Arm智能互聯(lián))課程及人才培養(yǎng)體系。已廣泛應(yīng)用于高等院校產(chǎn)學(xué)研合作及中小學(xué)STEM教育，致力于為學(xué)校和企業(yè)培養(yǎng)適應(yīng)時(shí)代需求的智能互聯(lián)領(lǐng)域人才。

原文標(biāo)題：【2021集創(chuàng)賽作品分享】第五期 | 基于ARM-M3的雙目立體視覺避障系統(tǒng) SOC設(shè)計(jì)

文章出處：【微信公眾號(hào)：安芯教育科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅