日前，中星微把實際安防項目經(jīng)驗應用到PASCAL VOC數(shù)據(jù)集，并成功在一步法（one-stage）算法中取得了第一名的好成績。中星微人工智能芯片技術(shù)公司董事長兼總經(jīng)理張韻東表示：“中星微首次將安防監(jiān)控應用經(jīng)驗與國際算法競賽數(shù)據(jù)集相結(jié)合，使得嵌入式前端設備也能達到與云端智能相媲美的效果，取得了可喜可賀的成績，但這只是一個的開始，相信未來會帶來更多更精彩的內(nèi)容。”

目標檢測是機器視覺中一個最重要和最早研究領域之一，也是一切機器視覺任務基礎，因此在目標檢測算法方面，國際巨頭公司和科研機構(gòu)紛紛進入這個領域，是兵家必爭之地，競爭非常激烈，也是目前在實際場景應用最成功的領域，包括安防監(jiān)控、自動駕駛等多個領域。

日前，中星微把實際安防項目經(jīng)驗應用到PASCAL VOC數(shù)據(jù)集，并成功在一步法（one-stage）算法中取得了第一名的好成績，獲得87.2% mAP精度，超越了大部分兩步法（two-stage）的算法，也證明了一步法（one-stage）可以做到精度和速度雙贏。

什么是目標檢測？

目標檢測就是判斷給一副圖像上是否存在感興趣的物體，如果存在，就給出所有感興趣物體的類別和位置（What and Where）。PASCAL VOC是由利茲大學、蘇黎世聯(lián)邦理工學院、愛丁堡大學、微軟、牛津大學等組織的一個視覺識別競賽，包含了物體分類、目標檢測、圖像分割等任務，對計算機視覺的發(fā)展具有深遠而巨大的影響。其中,目標檢測任務囊括了車、人、貓、狗等20類常見目標，訓練樣本較少、場景變化多端，非常具有挑戰(zhàn)性。

圖二

圖三

兩步法檢測法和一步法檢測法

目前主流的目標檢測算法主要是基于深度學習模型，其可以分成兩大類：

1）兩步法（two-stage）檢測算法，其將檢測問題劃分為兩個階段，首先產(chǎn)生候選區(qū)域（region proposals），然后對候選區(qū)域分類（一般還需要對位置精修），這類算法的典型代表是基于region proposal的R-CNN系算法，如R-CNN，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN等；

2）一步法（one-stage）檢測算法，其不需要region proposal階段，直接產(chǎn)生物體的類別概率和位置坐標值，比較典型的算法如YOLO和SSD。目標檢測模型的主要性能指標是檢測準確度和速度，對于準確度，目標檢測要考慮物體的定位準確性，而不單單是分類準確度。

一般情況下，兩步法（two-stage）算法在準確度上有優(yōu)勢，而一步法（one-stage）算法在速度上有優(yōu)勢。但在工業(yè)界應用中，一定要考慮速度和精度的平衡，特別是前端智能應用中，受到計算資源的限制，一般都會選擇一步法（one-stage）的算法，基礎網(wǎng)絡盡量選擇輕量級的網(wǎng)絡，比如MobileNet等。

中星微2016年6月成功研發(fā)了神經(jīng)網(wǎng)絡處理器NPU（Neural-network Processing Unit），此NPU集成到星光智能一號VC0758芯片中，成為中國首款嵌入式神經(jīng)網(wǎng)絡處理器SOC芯片，針對前端智能的應用，中星微一直致力于研發(fā)可部署到端上的輕量級深度學習算法。

經(jīng)過幾年的研發(fā)積累，把實際安防項目經(jīng)驗應用到PASCAL VOC數(shù)據(jù)集，并成功在一步法（one-stage）算法中取得了第一名的好成績。中星微VIM_SSD網(wǎng)絡，基于SSD深度學習目標檢測算法的架構(gòu)，融合多種機制和策略，并對網(wǎng)絡進行了大量的優(yōu)化。基礎網(wǎng)絡采用VGG16，并未使用ResNet-101, ResNet-152等更復雜的網(wǎng)絡，保證精度的情況下速度更快；同時整個網(wǎng)絡為全卷積網(wǎng)絡，可以自如調(diào)節(jié)檢測目標的分辨率和使用場景，更容易在實際系統(tǒng)中部署。

下表是目前PASCAL VOC競賽前十名，可以看出，下面算法中大部分應用了更復雜的基礎網(wǎng)絡ResNet-101和ResNet-152，并使用了兩步法。

圖四

制約前端智能發(fā)展的限制條件

中星微人工智能芯片技術(shù)公司研發(fā)副總艾國表示：“最近幾年，隨著深度學習方法的復興和快速發(fā)展，算法方面取得了巨大的進展和突破，但前端智能的發(fā)展較為落后，其主要原因受限于前端的計算資源，因此搭載輕量級深度神經(jīng)網(wǎng)絡是前端智能發(fā)展必由之路，中星微一直致力于研發(fā)能夠和NPU緊密結(jié)合的輕量級深度神經(jīng)網(wǎng)絡，和可快速編譯、移植和部署的嵌入式智能應用方案。”

機制和策略

VIM_SSD采用了如下主要的機制和策略：1）使用FPN，融合多層特征。2）使用inception結(jié)構(gòu)，提供多種感受野。3）使用SE結(jié)構(gòu)，增強有用特征，抑制無用特征。4）加入基于框的語義監(jiān)督，增強提取到特征的語義信息。

圖五

FPN是指將深層特征經(jīng)過放大，融合到低層特征中，以增強低層特征的語義信息。我們在這個基礎上，將融合后的特征做了一些處理，以使其適應檢測任務。我們觀察到網(wǎng)絡的anchor box并不全是1:1的，還可以有1:2，1:3，2:1，3:1，但是已有網(wǎng)絡的卷積核都是MxM。我們引入inception+SE結(jié)構(gòu)，一方面在其中加入1x3，3x1的卷積核，使其能夠更好地提取非正方形的特征，另一方面引入SE模塊，讓網(wǎng)絡為每種長寬比的目標自動選擇相應的特征。

語義分割方面，在很多文章中已經(jīng)有證明，它對目標檢測是有促進作用的。但是由于數(shù)據(jù)標注難度大，在實際項目部署過程中比較困難，所以我們采用基于框的語義信息，對網(wǎng)絡語義特征提取進行監(jiān)督。

VIM_SSD作者之一楊敏表示：“我們從2016年開始研究輕量級深度神經(jīng)網(wǎng)絡，并在多個實際項目中使用和部署，這次主要是想把項目積累的經(jīng)驗和方法在公開數(shù)據(jù)集上做一次嘗試，也是對過去工作一次階段性總結(jié)。”

中星微人工智能芯片技術(shù)公司董事長兼總經(jīng)理張韻東表示：“中星微首次將安防監(jiān)控應用經(jīng)驗與國際算法競賽數(shù)據(jù)集相結(jié)合，使得嵌入式前端設備也能達到與云端智能相媲美的效果，取得了可喜可賀的成績，但這只是一個的開始，相信未來會帶來更多更精彩的內(nèi)容。”