本文介紹激光雷達(dá)和相機(jī)融合的兩種方法：

前融合：融合原始數(shù)據(jù)（點云和像素/目標(biāo)框）。

后融合：融合目標(biāo)框。

1. 前融合

前融合一般指融合原始數(shù)據(jù)，最容易、最普遍的方式是將點云投影到圖像。然后檢查點云是否屬于圖像中檢測的2D目標(biāo)框。流程如下：

1.1 點云投影

三步：

將3D激光雷達(dá)點轉(zhuǎn)換為齊次坐標(biāo)

將點云變換到圖像坐標(biāo)系（LiDAR-Camera外參）

透視投影到圖像平面 （相機(jī)內(nèi)參）

1.2 圖像目標(biāo)檢測

一般使用YOLO系列算法?？梢詤⒖迹篽ttps://www.thinkautonomous.ai/blog/?p=introduction-to-yolov4-research-review

1.3 ROI匹配

ROI （Region Of Interest）匹配即融合目標(biāo)邊界框內(nèi)的數(shù)據(jù)。這一步的輸出：

對于每個2D邊界框，圖像檢測提供類別。

對于每個LiDAR投影點，我們有準(zhǔn)確的距離。

因此，融合目標(biāo)語義類別和空間位置就完善了。這一步的重點是如何融合目標(biāo)邊界框內(nèi)的投影點，作為目標(biāo)位置：求平均，中值，中心點，最近點？

另外，圖像目標(biāo)框往往比真實目標(biāo)大一些，目標(biāo)邊界框內(nèi)投影點云可能不屬于真實目標(biāo)（比如可能屬于背景，或附近目標(biāo)）。針對這個問題，采用圖像分割，可以更準(zhǔn)確地匹配投影點和像素。

下圖箭頭處顯示了投影點在目標(biāo)框內(nèi)，但不屬于目標(biāo)框?qū)?yīng)的車輛，而是前方車輛的點云。

2. 后融合

后融合是融合各個傳感器獨立的檢測結(jié)果，有兩種融合思路：

2D融合：圖像2D檢測，點云3D檢測投影到圖像生成的2D檢測。如下圖：

3D融合：圖像3D檢測，點云3D檢測。流程如下：

下文詳細(xì)介紹下3D融合的思路。

2.1 點云3D目標(biāo)檢測

傳統(tǒng)方法：聚類，L-shape fitting等

深度學(xué)習(xí)方法：centerpoint等

2.2 圖像3D目標(biāo)檢測

單目3D目標(biāo)檢測，需要知道投影參數(shù)（相機(jī)內(nèi)參，標(biāo)定外參），并使用深度學(xué)習(xí)。知道目標(biāo)的真實大小和朝向也有助于得到目標(biāo)的準(zhǔn)確邊界框。

分享一篇單目3D檢測論文：https://arxiv.org/pdf/1612.00496.pdf

2.3 IOU匹配

IOU即Intersection Over Union， 描述兩個邊界框的重合程度。

2.3.1 空域上的IOU匹配

匹配就是看圖像3D邊界框和點云3D邊界框是否重合（用IOU衡量），重合度高則是同一個目標(biāo)。3D Iou--Net (2020)中的示例圖像：

因此，我們可以在空域上將不同傳感器的檢測目標(biāo)進(jìn)行關(guān)聯(lián)。

這個過程在9 Types of Sensor Fusion Algorithms（https://www.thinkautonomous.ai/blog/?p=9-types-of-sensor-fusion-algorithms）中，被定義為中級（middle-level）傳感器融合。中級傳感器融合和高級傳感器融合的區(qū)別是，高級傳感器融合包括跟蹤。

而為了時間跟蹤，則需要時域上的數(shù)據(jù)關(guān)聯(lián)。

2.3.2 時域上的IOU匹配

目標(biāo)跟蹤一般用卡爾曼濾波和匈牙利算法來關(guān)聯(lián)時域上的目標(biāo)，從而跨幀跟蹤目標(biāo)，甚至預(yù)測目標(biāo)位置。

跟蹤3D邊界框位置時，一般用IOU作為度量進(jìn)行數(shù)據(jù)關(guān)聯(lián)。當(dāng)然也可以使用深度卷積特征來確保目標(biāo)一致。我們稱該過程為SORT (Simple Online Realtime Tracking), 或Deep SORT，如果使用深度卷積特征。

時域上IOU匹配的原理與空域上類似：如果第一幀和第二幀的邊界框重合，則說明兩個目標(biāo)是相同的。

既然我們可以在空域和時域上跟蹤目標(biāo)，那么也可以利用類似方法進(jìn)行高級的傳感器融合。

2.4 后融合總結(jié)

融合檢測目標(biāo)是中級的融合，需要空域上的IOU匹配；融合跟蹤軌跡是高級的融合，需要時域上的IOU匹配（匹配度量），卡爾曼濾波（狀態(tài)估計），匈牙利算法（數(shù)據(jù)關(guān)聯(lián)）。

審核編輯 ：李倩