攝像頭是無人車系統(tǒng)中最重要的傳感器之一，具有明顯的優(yōu)點和缺點：廉價、高幀率、信息豐富、觀測距離遠，但是易受環(huán)境影響、缺乏深度信息。因此，如何建立高準確率、高召回率的物體識別系統(tǒng)，是無人車感知模塊的核心問題。

上周，來自百度美研Apollo感知團隊的資深軟件架構(gòu)師——陳光，在Apollo開發(fā)者社群內(nèi)為我們帶來關(guān)于《基于單目攝像頭的物體檢測》的內(nèi)容分享。幫助開發(fā)者更加了解Apollo 2.5和3.0里廣泛使用的單目攝像頭物體檢測模塊。

錯過社群直播的開發(fā)者可以從以下資料回顧干貨內(nèi)容：

基于單目攝像頭的物體檢測

本次分享將會從以下四個方面展開：

一、物體檢測模型中的算法選擇

二、單目攝像頭下的物體檢測神經(jīng)網(wǎng)絡

三、訓練預測參數(shù)的設計

四、模型訓練與距離測算

物體檢測模型中的算法選擇

物體檢測（Object Detection）是無人車感知的核心問題，要求我們對不同的傳感器（如圖中覆蓋不同觀測范圍FOV的無人車傳感器）設計不同的算法，去準確檢測出障礙物。例如在Apollo中，為3D點云而設計的的CNN-SEG深度學習算法，為2D圖像而設計的YOLO-3D深度學習算法等。

物體檢測要求實時準確的完成單幀的障礙物檢測，并借助傳感器內(nèi)外參標定轉(zhuǎn)換矩陣，將檢測結(jié)果映射到統(tǒng)一的車身坐標系或世界坐標系中。準確率、召回率、算法時耗是物體檢測的重要指標。本次分享只覆蓋Apollo中基于單目攝像頭的物體檢測模塊。

相關(guān)文獻如下：

1. Object Detection with Discriminatively Trained Part Based Models. IEEE Trans. PAMI, 32(9):1627–1645, 2010.

2. Faster RCNN, ICCV 2015

3. SSD: Single Shot MultiBox Detector, ECCV 2016

4. yolo9000: Better, Faster, Stronger, CVPR 2017

5. Focal Loss for Dense Object Detection, ICCV 2017

在眾多物體檢測模型中，我們?nèi)绾芜x擇最合適的算法？尤其是以2-stage為代表的Faster-RCNN, RFCN 和以 single stage為代表的SSD、YOLO之中應該如何選擇？CVPR 2017一篇來自谷歌的論文《Speed/Accuracy Trade-offs for Modern Convolutional Object Detectors》做了比較細致的比較和評測。它將物體檢測神經(jīng)網(wǎng)絡拆解為主框架Meta-architecture和特征描述模塊Feature Extractor。并選擇了不同的組合方式，去驗證模型的實效性和準確率。

如圖所示，在 MS COCO數(shù)據(jù)集上，YOLO V2取得了實時速度下良好的檢測準確率。Faster RCNN+重載的 Inception ResNet V2雖然取得了最好準確率，但是時耗過長。完全不能滿足無人車對實時性的要求。基于這種理論分析和在百度自有數(shù)據(jù)集上的評測，我們最終選擇了YOLO作為主框架，以改進的DarkNet作為特征描述模塊（Feature Extractor)。

2單目攝像頭下的物體檢測神經(jīng)網(wǎng)絡

Apollo 2.5和3.0中，我們基于YOLO V2設計了單目攝像頭下的物體檢測神經(jīng)網(wǎng)絡, 我們簡稱它 Multi task YOLO-3D, 因為它最終輸出單目攝像頭3D障礙物檢測和2D圖像分割所需的全部信息。

它和原始的YOLO V2有以下幾種不同：

1. 實現(xiàn)多任務輸出：

(1)物體檢測，包括2D框(以像素為單位），3D真實物體尺寸（以米為單位），障礙物類別和障礙物相對偏轉(zhuǎn)角（Alpha Angle，和KITTI數(shù)據(jù)集定義一致）。下文會詳細講解各個輸出的意義。

(2)物體分割：車道線信息，并提供給定位模塊，這里不做敘述。

2. 特征描述模塊引入了類似FPN的Encoder和Decoder設計：在原始Darknet基礎(chǔ)上中，加入了更深的卷積層（Feature Map Size更小）同時添加反卷積層，捕捉更豐富圖像上下文信息（Context Information）。高分辨率多通道特征圖，捕捉圖像細節(jié)（例如Edge，Corner），深層低分辨率多通道特征圖，編碼更多圖像上下文信息。和FPN類似的飛線連接，更好的融合了圖像的細節(jié)和整體信息。

3. 降低每層卷積核數(shù)目，加快運算速度。例如我們發(fā)現(xiàn)卷積核數(shù)目減半，實驗中準確率基本不變。

如前文所述，物體檢測最終輸出包括2D框(以像素為單位），3D真實物體尺寸（以米為單位），障礙物類別和障礙物相對偏轉(zhuǎn)角（Alpha Angle，和KITTI數(shù)據(jù)集定義一致）等信息。

和YOLO V2算法一樣， 我們在標注樣本集中通過聚類，產(chǎn)生一定數(shù)目的“錨”模板，去描述不同類別、不同朝向、不同大小的障礙物。例如對小轎車和大貨車，我們會定義不同的錨模板，去描述它們的實際物理尺寸。

為什么我們要去訓練、預測這些參數(shù)呢？我們以相機成像的原理來解釋：針孔相機(Pinhole Camera)通過投影變換，可以將三維Camera坐標轉(zhuǎn)換為二維的圖像坐標。這個變換矩陣解釋相機的內(nèi)在屬性，稱為相機內(nèi)參（Camera Intrinsic） K。（本圖及下文中部分圖像引自三方論文等）

對任意一個相機坐標系下的障礙物的3D框，我們可以用它的中心點 T = {X, Y, Z}，長寬高 D = {L, W, H}，以及各個坐標軸方向上的旋轉(zhuǎn)角 R = {?, φ , θ}來描述。這種9維的參數(shù)描述和3D框8點的描述是等價的，而且不需要冗余的8*3個坐標參數(shù)來表示。

因此，對一個相機坐標系下3D障礙物，我們通過相機內(nèi)參，可以投射到2D圖像上，得到2D框[c_x, c_y, h, w]。從圖中可以看到，一個障礙物在相機下總共有9維3D描述和4維2D描述，他們之間通過相機內(nèi)參矩陣聯(lián)系起來。

然而，只通過2D框[c_x, c_y, h, w]，是沒有辦法還原成完整的3D障礙物信息。

3訓練預測參數(shù)的設計

而通過神經(jīng)網(wǎng)絡直接預測3D障礙物的9維參數(shù)，也會比較困難，尤其是預測障礙物3D中心點坐標。所以我們要根據(jù)幾何學來設計我們到底要訓練預測哪些參數(shù)。

首先利用地面平行假設，我們可以降低所需要預測的3D參數(shù)。

例如：（1）我們假設3D障礙物只沿著垂直地面的坐標軸有旋轉(zhuǎn)，而另外兩個方向并未出現(xiàn)旋轉(zhuǎn)，也就是只有yaw偏移角，剩下的Pitch Roll均為0。（2）障礙物中心高度和相機高度相當，所以可以簡化認為障礙物的Z=0。

從右圖可以看到，我們現(xiàn)在只有6維3D信息需要預測，但還是沒有辦法避免預測中心點坐標X和Y分量。

第二，我們可以利用成熟的2D障礙物檢測算法，準確預測出圖像上2D障礙物框(以像素為單位）。

第三，對3D障礙物里的6維描述，我們可以選擇訓練神經(jīng)網(wǎng)絡來預測方差較小的參數(shù)，例如障礙物的真實物理大小，因為一般同一類別的障礙物的物理大小不會出現(xiàn)量級上的偏差（車輛的高度一般在2-5米之間，很少會出現(xiàn)大幅變化）。而yaw 轉(zhuǎn)角也比較容易預測，跟障礙物在圖像中的位置關(guān)系不大，適合通用物體檢測框架來訓練和預測。實驗中也多次證明此項。

所以現(xiàn)在我們唯一沒有訓練和預測的參數(shù)就是障礙物中心點相對相機坐標系的偏移量X分量和Y分量。需要注意的是障礙物離相機的物理距離Distance=sqrt(X^2+Y^2)。所以得到X和Y，我們自然就可以得到障礙物離相機的真實距離，這是單目測距的最終要求之一。

綜上，我們可以合理的推斷出, 實現(xiàn)單目攝像頭的3D障礙物檢測需要兩部分：

1. 訓練網(wǎng)絡，并預測出大部分參數(shù)：

（1）圖像上2D障礙物框預測，因為有對應的大量成熟算法文獻；

（2）障礙物物理尺寸，因為同類別內(nèi)方差較小；

（3）不被障礙物在圖像上位置所影響，并且通過圖像特征（Appearance Feature）可以很好解釋的障礙物yaw偏轉(zhuǎn)角。

2. 通過圖像幾何學，來計算出障礙物中心點相對相機坐標系的偏移量X分量和Y分量。

4模型訓練與距離測算

模型訓練上，我們需要注意一些潛在的細節(jié)：

1) 確保標注質(zhì)量，尤其是3D障礙物框?？梢越柚す饫走_等來輔助標注障礙物尺寸，偏轉(zhuǎn)角等等；

2) 定義合適的損失函數(shù)，可以參考Zoox的paper《3D Bounding Box Estimation Using Deep Learning and Geometry》；

3) 做好數(shù)據(jù)增強，避免過擬合, 圖中簡單描繪了一些Data Augmentation的方式。對于無人車，我們可以嘗試更多的方法。

當我們訓練好相應的神經(jīng)網(wǎng)絡，輸出我們需要的各個參數(shù)之后，我們需要考慮的是如何計算出障礙物離攝像頭的距離。根據(jù)之前介紹，通過內(nèi)參和幾何學關(guān)系，我們可以鏈接起圖像中3D障礙物大?。▎挝粸橄袼兀┖驼鎸?D坐標系下障礙物大?。▎挝粸槊祝?/p>

我們采用單視圖度量衡（ Oxford教授 A. Zisserman的論文《Single View Metrology》）來解釋這個幾何關(guān)系：任一物體，已知它的長寬高、朝向和距離，則它在圖像上的具體形狀大小等可唯一確定；反之亦然。

如圖中房屋的支撐柱，大小高度完全相同，但是處于圖像的不同位置，所占用的像素、長寬都有差別。

基于單視圖度量衡，我們可以建立一個哈希查詢表，去根據(jù)物體圖像尺寸，物理尺寸，朝向角來查詢物體的距離。

對于每種障礙物，我們根據(jù)它的平均（或單位）尺寸，去建立查詢表，覆蓋360度yaw 角的變化，來映射不同的距離。（例如2D框的25像素高，yaw角為30度，則它的距離為100米等等）。圖中示例了一個小轎車在不同距離下、不同偏轉(zhuǎn)角yaw angle情況下，在圖像上的顯示。

對于這樣一個簡單的算法，速度上可以達到0.07毫秒/每幀圖像。而在準確率上，我們分別在KITTI數(shù)據(jù)集和Apollo內(nèi)部數(shù)據(jù)集上做了評測。在KITTI上取得了很好的效果，0-30米內(nèi)障礙物誤差大概在1米左右。隨著距離增大，誤差會增大，但是最終誤差不超過8%。

在Apollo數(shù)據(jù)集上，這個簡單算法也取得了不錯的效果。最大誤差不超過6%。

綜上，我們可以整理出Apollo里單目攝像頭下的障礙物檢測流程圖：輸入單幅圖像，預測大部分參數(shù)；基于單視圖度量衡，我們可以預測出剩余的參數(shù)距離和中心點坐標。

Apollo里單目攝像頭下的障礙物檢測穩(wěn)定快速，對繁忙路段和高速場景都可以適配。檢測速度在30HZ以上。

Apollo里單目攝像頭下的障礙物算法已經(jīng)成功入庫到Apollo 2.5 和 Apollo 3.0，并在CIDI等項目中使用。