激光雷達傳感器vs圖像傳感器

激光雷達是一種用于精準獲取物體三維位置的傳感器，本質上是激光探測和測距。憑借在目標輪廓測量、通用障礙物檢出等方面所具有的極佳性能，正在成為L4自動駕駛的核心配置。

然而，激光雷達的測距范圍（一般在200米左右，不同廠商的量產型號指標各異）導致感知范圍遠小于圖像傳感器。

又由于其角分辨率（一般為0.1°或0.2°）比較小，導致點云的分辨率遠小于圖像傳感器，在遠距離感知時，投射到目標物上的點可能及其稀疏，甚至無法成像。對于點云目標檢測來說，算法真正能用的點云有效距離大約只有100米左右。

圖像傳感器能以高幀率、高分辨率獲取周圍復雜信息，且價格便宜，可以部署多個不同FOV和分辨率的傳感器，用于不同距離和范圍的視覺感知，分辨率可以達到2K-4K。

但圖像傳感器是一種被動式傳感器，深度感知不足，測距精度差，特別是在惡劣環境下完成感知任務的難度會大幅提升。

在面對強光、夜晚低照度、雨雪霧等天氣和光線環境，智能駕駛對傳感器的算法要求很高。激光雷達雖然對環境光線影響不敏感，但對于積水路面、玻璃墻面等，測距將收到很大影響。

可以看出，激光雷達和圖像傳感器各有優劣。大多數高級別智能駕駛乘用車選擇將不同傳感器進行融合使用，優勢互補、冗余融合。

這樣的融合感知方案也成為了高級別自動駕駛的關鍵技術之一。

基于深度學習的點云和圖像融合感知

點云和圖像的融合屬于多傳感器融合（Multi-Sensor Fusion,MSF）的技術領域，有傳統的隨機方法和深度學習方法，按照融合系統中信息處理的抽象程度，主要分為三個層次：

數據層融合（Early Fusion）

首先將傳感器的觀測數據融合，然后從融合的數據中提取特征進行識別。在3D目標檢測中，PointPainting（CVPR20）采用這種方式，PointPainting方法先是對圖像做語義分割，并將分割后的特征通過點到圖像像素的矩陣映射到點云上，然后將這個“繪制點”的點云送到3D點云的檢測器對目標Box進行回歸。

特征層融合（Deep Fusion）

先從每種傳感器提供的觀測數據中提取各自然數據特征，對這些特征融合后進行識別。在基于深度學習的融合方法中，這種方式對點云和圖像分支都各自采用特征提取器，對圖像分支和點云分支的網絡在前反饋的層次中逐語義級別融合，做到多尺度信息的語義融合。

基于深度學習的特征層融合方法，對于多個傳感器之間的時空同步要求很高，一旦同步不好，直接影響特征融合的效果。同時，由于尺度和視角的差異，LiDAR和圖像的特征融合很難達到1+1>2的效果。

決策層融合（Late Fusion）

相對前兩種來說，是復雜度最低的一種融合方式。不在數據層或特征層融合，是一種目標級別的融合，不同傳感器網絡結構互不影響，可以獨立訓練和組合。

由于決策層融合的兩類傳感器和檢測器相互獨立，一旦某傳感器發生故障，仍可進行傳感器冗余處理，工程上魯棒性更好。

隨著激光雷達與視覺融合感知技術的不斷迭代，以及不斷積累的知識場景與案例，會出現越來越多的全棧融合計算解決方案為自動駕駛帶來更加安全與可靠的未來。

審核編輯：湯梓紅