一、摘要

最近特斯拉提出的Occupancy Networks引起了一些討論，本篇論文也提出了一個occupy grid預(yù)測的網(wǎng)絡(luò)，不過相關(guān)性并不大。回到正題，作者基于毫米波的問題：識別靜態(tài)目標的性能較差、稀疏的缺點，提出了第一個實時(1.5ms)BEV多任務(wù)(障礙檢測、可駕駛區(qū)域網(wǎng)格預(yù)測)網(wǎng)絡(luò)。Free space定義為可行駛的網(wǎng)格區(qū)域。通過引入Lidar的標記數(shù)據(jù)對毫米波進行監(jiān)督，能夠有效增強毫米波對靜態(tài)目標的感知能力的同時解決了毫米波數(shù)據(jù)難以標注的問題。另一方面作者通過預(yù)測dense occupancy probability map以生成RDM(radial distance map)用于自動駕駛路徑規(guī)劃。

二、相關(guān)工作與主要貢獻

相關(guān)工作

障礙檢測上：分為dense RADAR data cubes和radar points，第一種，也就是Range-Dopper這類稠密的特征雖然特征保留度好，但是如今商業(yè)化的雷達大部分僅提供點云數(shù)據(jù)(經(jīng)過CRAR處理后)，并且為了獲得更稠密的特征，需要增加許多天線等升級毫米波，這顯然對于如今普遍好幾個雷達的商用車輛是不符的，這類方法擁有自己獨立的一套體系。第二種，借鑒的Lidar-based方法較多，包括借鑒于centerpoint, pointnet等等，與激光雷達的方法論大同小異。

占位柵格生成：

Probably Unknown: Deep Inverse Sensor Modelling In Radar

Road scene under- standing by occupancy grid learning from sparse radar clusters using semantic segmentation

主要貢獻：

作者提出的NVRadarNet，在僅使用雷達點云數(shù)據(jù)的情況下(CFAR處理后生成的點云圖)，在BEV空間能夠?qū)崿F(xiàn)端到端的靜態(tài)與動態(tài)目標檢測，并且完成占位柵格的預(yù)測任務(wù)；

提出了一種新的半監(jiān)督預(yù)測行駛區(qū)域的方法，僅使用Radar peak detection也就是點云就能夠完成稠密的占位柵格預(yù)測；

能夠?qū)崿F(xiàn)1.5ms的端到端預(yù)測，這個時間是在嵌入式GPUNVIDIA DRIVE AGX上，使用TensorRT加速推理得到；

三、模型結(jié)構(gòu)

3.1 整體架構(gòu)

如上圖所示，整體結(jié)構(gòu)比較簡單，輸入是累加多幀的毫米波點云圖(800x800, 100mx100m)，送入類似于UNet結(jié)構(gòu)的網(wǎng)絡(luò)中，UNet常用于分割任務(wù)中，能夠較好結(jié)合底層與高層信息，經(jīng)過多次下采樣后的低分辨率信息。能夠提供分割目標在整個圖像中上下文語義信息，可理解為反應(yīng)目標和它的環(huán)境之間關(guān)系的特征。這個特征有助于物體的類別判斷，然后經(jīng)過concatenate操作從encoder直接傳遞到同高度decoder上的高分辨率信息。能夠為分割提供更加精細的特征，生成多尺度語義特征后，將特征分別送入不同的三個檢測頭，任務(wù)分別是：分類、回歸、占位柵格預(yù)測頭。

如上圖所示，encoder結(jié)構(gòu)及特征維度變化、decoder結(jié)構(gòu)與特征尺度分別上、下部分所示，encoder提供給decoder融合了底層與高層特征的最終特征，decoder也就是head用于解碼出所需要的Headmap。

3.2 Head與Loss設(shè)計

Head

作者在BEV二維平面檢測和生成Free Space，分別生成的是2D檢測框和稠密的占位柵格地圖(dense occupancy probability map)。

將Encoder輸出的特征圖，分別輸入三個Head，用于檢測、分類、生成Free Space預(yù)測，其中regression和classification的HW相同，而freespace的網(wǎng)格更為細密。freespace對100x100m的分割單元為25cm，regression和classification的分割單元大小為50cm，后者和BEVformer等網(wǎng)絡(luò)設(shè)置的grid大小一致，而占位柵格需要的細粒度更高，需要設(shè)置兩倍的細分精度。

對于Regression Head:channel=6，包括中心位置，size(w,l)，偏航角(sinθ和cosθ)，注意這里沒有回歸高度信息；

對于Classification Head:

對于Inverse sensor model head (ISM，逆向傳感器模型)：用來將傳感器觀測值轉(zhuǎn)換為占位柵格概率的網(wǎng)格圖，關(guān)于如何預(yù)測和生成占位柵格圖，細節(jié)沒有多提，具體可以看Probably Unknown: Deep Inverse Sensor Modelling In Radar 這篇文章。預(yù)測生成的占位柵格圖如下圖所示，中間黑色的為道路部分，占位的概率大小從黑色到黃色逐漸升高，顏色越亮代表所在柵格存在目標的可能性越大。

Loss

總體損失如上圖所示，其中，作者采用貝葉斯權(quán)重損失計算，K是損失的種類數(shù)，這里是3，Li是某個loss的值，wi為需要預(yù)測的損失項權(quán)值，μw為wi的均值，將整體最小化，最后一項也能夠作為正則項避免權(quán)值過大。

檢測頭損失計算：分別為交叉熵損失、L1損失

Inverse sensor model head (ISM，逆向傳感器模型) 損失計算：

inverse sensor model loss用于占位柵格網(wǎng)絡(luò)的損失，最后一項損失為Probably Unknown: Deep Inverse Sensor Modelling In Radar， ICRA2019中提出，如下圖所示，由左側(cè)的Range-Doppler-Matrix(由極坐標系下經(jīng)過插值轉(zhuǎn)換到笛卡爾坐標系下)生成的右側(cè)的Label作為GT，監(jiān)督Inverse sensor model head預(yù)測占位柵格圖，生成的占位柵格圖在沿中心的射線上高于某個threshhold的柵格作為occupied grid(將網(wǎng)格的值賦值為1)，遍歷360°的射線后生成的柵格圖與GT計算loss。

淺提一下“Probably Unknown: Deep Inverse Sensor Modelling In Radar（ICRA2019）”這篇論文，論文使用深度神經(jīng)網(wǎng)絡(luò)將原始雷達掃描轉(zhuǎn)換為占用概率柵格地圖，使用激光雷達生成的部分占用標簽進行自我監(jiān)督，優(yōu)于標準的CFAR濾波方法，能夠成功地將世界劃分為占用的和空閑的空

上圖是loss計算的細節(jié)，可以看到loss綜合考慮了y=1和y=0也就是占據(jù)和非占據(jù)(free space)兩種損失。

四、一些論文細節(jié)

4.1 雷達數(shù)據(jù)處理與FreeSpace的Label生成

雷達數(shù)據(jù)預(yù)處理

對毫米波點云進行量化采樣，生成voxel網(wǎng)格數(shù)據(jù)，對重復(fù)投影到同一位置的點云采用均值池化的方式

累計8個雷達的0.5s內(nèi)的掃描點云稠密性，通過運動補償完成多幀雷達累計

輸入維度為：Doppler, elevation angle, RADAR cross section (RCS), azimuth angle and the relative detection timestamp

將RCS小于?40 dBm的雷達點云過濾

小于4個毫米波點云投射的目標進行濾除

生成Detection Head的GT數(shù)據(jù)：Label Propagation(由Lidar生成用于目標檢測的GT)

如下圖所示，作者將Lidar標注好的2D GT，進行篩選，條件如下：1. 少于4個point在內(nèi)的bbox去除；2. 反射強度

生成Inverse sensor model head的Label：Free Space Label Generation

將occupy grid分為：Observed and free，Observed and occupied，Unobserved，Partially observed四類網(wǎng)格

激光雷達數(shù)據(jù)輔助生成Free Space Label，將多線(這里是128線)的點云投射到地面，去除道路的點云以生成free space label，因為路面由于多線雷達的多面掃描會使可行駛的路面被認作為障礙物，因此要去除道面點云，以生成準確的Free Space監(jiān)督信號

總結(jié)來說，就是分為幾個區(qū)間[ego,first return), (first return, last_return), (last_return, border]，分別標記為：黑色，深灰色，灰色，顏色由深變淺，白色就是返回的有目標的點，如下圖所示：

4.2 End-to-end Obstacle Detection

作者使用OneNet的匹配方法，同時考慮尺寸和類別信息用于正樣本分配，同樣是一種Anchor-free的檢測方法。

4.3 數(shù)據(jù)集

作者使用Nvidia的自動駕駛數(shù)據(jù)集，數(shù)據(jù)集未公開，只說明了基本的信息，對比而言，nuScenes作為目前較大的自動駕駛數(shù)據(jù)集，只有15小時的采集，作者的內(nèi)部數(shù)據(jù)集有幾百個小時的采集；

激光雷達128線，8個毫米波雷達Continental ARS430，相比NuScenes的408更加稠密，性能更好；

4.4 題外話：ISM輸出轉(zhuǎn)化為RDM圖

自動駕駛中并不是直接利用生成的占位柵格概率圖，一些方法通常將Free Space經(jīng)過一系列轉(zhuǎn)化，生成一種“可行駛區(qū)域的邊界輪廓”用于自動駕駛的路徑規(guī)劃，這是作者額外介紹的應(yīng)用。ISM生成的占位柵格概率圖用于Loss的計算而不是這一節(jié)所介紹的邊界輪廓。轉(zhuǎn)換過程如下：

生成占位柵格地圖：Inverse sensor model head (ISM，逆向傳感器模型)生成概率柵格地圖，亮度由暗到亮，存在物體的概率逐漸上升

轉(zhuǎn)化到極坐標系下：通過近鄰采樣方法，將笛卡爾坐標系的柵格轉(zhuǎn)化到當(dāng)前的極坐標系中，如下圖所示，y由上到下，分別是-180度到180度，代表笛卡爾坐標系中心向外的一條射線（至邊界），x從左到右代表0-100m的距離

根據(jù)上圖的極坐標系，沿著每個角度，將其作為一條射線，將遇到的第一個概率大于閾值的柵格作為最遠的點，并以此遍歷360°，生成下圖的RDM（radial distance map）

在生成了上述RDM圖后，可以進一步得到如下在極坐標系下的簡化后的可行區(qū)域圖，這就是最后所求的車輛可行駛區(qū)域的邊界圖，這是在極坐標系下的表示，這個圖可以與RDM圖相轉(zhuǎn)換。

四、總結(jié)評價

4.1 實驗

論文相關(guān)工作及相關(guān)屬性

可以看出，還沒有與作者較為合適的網(wǎng)絡(luò)用于對比，作者在2D檢測領(lǐng)域并沒有進行對比實驗，只在Free Space生成上與OccupancyNet做了對比試驗。

Occupancy probability po < 0.4作為占位柵格的閾值，大于等于此值的認為其是被占據(jù)的柵格。實驗總共分為兩部分（2D檢測和Free Space prediction），每一部分都在內(nèi)部數(shù)據(jù)集和NuScenes數(shù)據(jù)集上做了實驗，由于兩個數(shù)據(jù)集的設(shè)置大部分是一致的，所以這里僅介紹在內(nèi)部數(shù)據(jù)集上的實驗。

2D檢測精度隨距離變化圖

在檢測距離增加時，明顯的可以看到精度的損失，同時增加分辨率可以有效增加對于行人等小目標的檢測精度，減小量化損失

這里只介紹在作者內(nèi)部數(shù)據(jù)集的實驗：增加輸入分辨率可以有效提高精度，這降低了量化采樣的損失，但是在Free Space生成上效果不大

在NuScenes數(shù)據(jù)集上與OccupancyNet的對比，雖然Ocuupied有兩倍的提升，但是其他性能都有下降。

4.2 評價（均為個人推測，看看就行）

本文的一個亮點，就是實時、多任務(wù)，作者在英偉達的嵌入式自動駕駛設(shè)備上進行了一系列優(yōu)化并達到了1.5ms遠大于實時的速度要求，可以滿足實時性

作者并沒有在實驗中驗證前文中提到的對于靜態(tài)目標、遮擋目標等的效果提升，大部分實驗只是在擺出自己的實驗效果，沒有做檢測任務(wù)上的對比實驗，感覺實驗還是缺不少的

作者使用Lidar數(shù)據(jù)標注GT用于Radar的任務(wù)標簽，會存在很多問題：一個是Lidar visible的目標Radar有些事invisible的，這樣會導(dǎo)致radar檢測假陽性會多一些，二是毫米波的透視能力強，加上多路干擾會檢測到一些遮擋的目標，所以使用Lidar的標簽會導(dǎo)致毫米波的透視性能下降，順便提一句，在之前的一個工作有說過并解決了這個問題，可以看我之前寫過的：https://zhuanlan.zhihu.com/p/568160922，在里面的一個工作“Radar Occupancy Prediction With Lidar Supervision While Preserving Long-Range Sensing and Penetrating Capabilities”解決了這個問題。

審核編輯：郭婷