俗話說“單絲不成線，獨木不成林”。面對如此復雜的自動駕駛系統(tǒng)，最好的辦法自然是博采眾長，多傳感器融合咯。

1.False Positive & False Negative

這是做多傳感器融合之前必須了解的一個概念。

統(tǒng)計學上的名字叫第一類錯誤和第二類錯誤。當然，這么專業(yè)的名字經(jīng)常搞得人云里霧里。實際上，除了FP和FN之外，還有TP和TN，組成了如下圖所示的四角關系。

醫(yī)學上經(jīng)常會用這個術語來表述檢測結果和實際結果的差別，經(jīng)典的例子就是你有沒有得腫瘤導致你心情大起大落的故事。

在自動駕駛感知任務中，F(xiàn)P和FN常被描述成如下場景：

FP：傳感器探測到了目標，但實際上沒有這個目標。這樣的目標又被稱作ghost。

FN：傳感器沒有探測到目標，但實際上有這個目標。這樣的情況被稱為漏檢。

對于雙目攝像頭而言，它能感知深度，這原本是個很不錯的能力。但是當雙目攝像頭遇上有強光反射的光滑地面時，強光導致的圖像局部飽和會讓攝像頭的深度測量出現(xiàn)偏差，而誤以為地上有一個洞。

但我們都知道實際上地面上并沒有洞，那這就是一個false positive。

明亮的地面反射導致攝像頭探測到了洞

而這樣的偏差會導致汽車在行駛過程中誤以為前方不能通行，需要繞行避讓或直接剎停，從而產(chǎn)生讓人覺得莫名其妙的“幽靈剎車”。

但是面對同樣的場景，毫米波雷達就不會探測出一個洞來，因為它通過自身發(fā)出的電磁波來感知周圍環(huán)境而不受光線強弱的影響。

這時候采用傳感器融合，就能夠避免這樣的問題。

2.目標檢測

了解了多傳感器融合的必要性之后，我們來看看多傳感器融合的細分任務。首要的任務便是目標檢測。

對于自動駕駛汽車來說，周圍環(huán)境中最多的、出現(xiàn)頻率最高的自然是其他汽車。而目標檢測就是要用一個個小框把他們框起來，從而與周圍環(huán)境區(qū)別開來。這樣的框我們就稱為bounding box。

Bounding box可以分成二維和三維的，分別對應目標檢測里的二維目標檢測及三維目標檢測方法。

2D bounding box，顧名思義每一個框子都是平面的。好處在于簡單快捷的把一幀圖像或是點云里的目標標識出來。

https://www.analyticsvidhya.com/blog/2018/12/practical-guide-object-detection-yolo-framewor-python/

但是同時缺點也是顯而易見的。第一，由于框子也是二維的是一個平面，我沒法知道這里車的長或者寬；第二，目標的行駛方向也無法體現(xiàn)出來。

這兩點在車輛進行ACC、AEB縱向功能時可能還不明顯，但一旦涉及到車輛橫向控制，需要變道時，缺少這些信息則是致命的。

于是，三維的目標檢測應運而生，并逐漸成為目標檢測的主流。同時，我們也會把目標分類合并在一起做掉，這可以通過神經(jīng)網(wǎng)絡的多頭設計來完成。因此你會看到目標的框上有一個分類以及分類的置信度。

不同類別的目標有不同的幾何外形，這樣也能方便設計不同大小的框子對應不同類別的目標。

https://paperswithcode.com/task/3d-object-detection

不過3維框也有其局限，我們都知道車輛的外表并非一個完美的長方體，而都用長方體框出就忽略掉了很多外觀上的細節(jié)。而這些細節(jié)在近距離跟車、加塞變道時會變得特別有用。

3.目標追蹤

目標檢測還只是針對單幀的畫面和數(shù)據(jù)，但是實際上我們的運動場景是連續(xù)的，我們不能只簡簡單單在一張或幾張圖片上成功檢測到物體就足夠，還需要跨幀地確保這些目標聯(lián)系起來，即知道這些目標是同一個目標在不同時間戳的表示。這就是目標追蹤。

目標追蹤的常用結構就是依據(jù)我們之前講過的卡爾曼濾波結合目標關聯(lián)算法。

先預測，再關聯(lián)，后更新。九字箴言。

對于不同的目標我們會建立不同的數(shù)學模型，例如針對靜止目標，由于速度始終為0不會變化，我們就會用恒定速度（constant velocity）模型來建立運動學模型；而針對運動的目標，尤其是車輛這種還帶有旋轉、拐彎的一般會用勻速圓周運動模型（constant turn rate and velocity）。不同的模型意味著不同的預測結果。

而有了預測值之后，你就能大約猜測出下一個周期目標應該會出現(xiàn)在圖上的什么位置，從而去那個范圍搜尋對應的像素點或者點云，把合適的點與預測的目標位置關聯(lián)上。

關聯(lián)上后你就獲得了這個時刻的測量值，你就可以用測量去校正之前的預測，從而獲得精確的目標位置。這樣，循環(huán)往復，周而復始，你就成功地tracking上了這個目標。

在實際自動駕駛項目中，丟目標和目標跳變是一個很嚴重的問題。這里的“丟目標”指的就是目標追蹤失敗，傳感器沒能跟上目標實際的運動軌跡；“目標跳變”指的就是目標追蹤丟失后又重新跟上。由于這兩者都會導致目標ID變化而導致功能退出，因此都是需要在目標融合時極力避免的。

4.總結

這里主要介紹了傳感器融合（SF）對目標方面的幾類任務，除目標之外，傳感器融合還能做很多其他對環(huán)境建模的任務，例如道路特征的描述、占用柵格地圖以及可通行區(qū)域表示等等。

編輯：黃飛

?