【GiantPandaCV導(dǎo)語】修改開源的 3D 檢測算法，使用了 pytorch 自帶的 DConv，省去 linux 下編譯 DConv 的 cuda 代碼，可以直接在 window 下訓(xùn)練和測試。在源碼基礎(chǔ)上增加了 finetune 和 resume 等功能，并提供了重新訓(xùn)練的模型。

代碼：https://github.com/Huangdebo/SMOKE-window

[x] 模型效果

1 網(wǎng)絡(luò)結(jié)構(gòu)

smoke 的網(wǎng)絡(luò)機(jī)構(gòu)比較簡單粗暴，一個(gè) DLA 直接出 w/4, h/4 的特征圖，然后分成兩路：（1） 關(guān)鍵點(diǎn)檢測，用以得出每個(gè)類別的目標(biāo)的 3D 中心點(diǎn)在 2D 圖像中的投影（2） 3D 信息的回歸， depth_offset(1), keypoint_offset(2), dimension_offset(3), orientation(2)，共 8 個(gè)channel。

2 ?3D 檢測

2.1 關(guān)鍵點(diǎn)分支

類似 centernet，把目標(biāo)看成點(diǎn)來檢測，但不同的是，smoke 利用的是 3D box 的中心投影點(diǎn)，而不是 2D box 的中心點(diǎn)。

2.2 回歸分支

首先是 location，網(wǎng)絡(luò)回歸的都是偏差，對(duì)于 Z 方向的值，通過預(yù)設(shè)的偏移量和尺度因子來計(jì)算：對(duì)于 x,y，則是通過關(guān)鍵點(diǎn)分支得到的投影中心點(diǎn)和回歸的偏移量計(jì)算得出，然后在通過反投影計(jì)算出 location：

dimension 也是通過統(tǒng)計(jì)預(yù)設(shè)值和回歸值來計(jì)算：

對(duì)于航向角的計(jì)算比較繞，smoke 并不是直接回歸航向角，而是通過間接計(jì)算：

在下圖中將小車沿著y軸順時(shí)針旋轉(zhuǎn)，待小車和camera連線與相機(jī)坐標(biāo)系的z軸重合時(shí)停止，那么紫色的角是沒有發(fā)生變化的。于是有

r_y 和 alpha 就是 KITTI label 中的 rotation_y 和 alpha，β 就是論文中的 αz。但 smoke 也不是直接回歸 ?αz，而且轉(zhuǎn)化成另外一個(gè)變量 ?αx，αx 也是編碼成 [sin(α), cos(α)]，進(jìn)行歸一化處理

基于上面的計(jì)算值，就可以 3D box 的8個(gè)頂點(diǎn)坐標(biāo)了

3 loss 計(jì)算

3.1 關(guān)鍵點(diǎn)分類 loss

與 centernet 類似，在 focal loss 的基礎(chǔ)上加權(quán)，對(duì)中心點(diǎn)附近的位置降低loss權(quán)重，并通過巧妙的設(shè)計(jì)來抑制中心附近的回歸值，讓只有中心一個(gè)尖峰：

3.2 回歸 loss

smoke 使用了 disentangling loss 形式來計(jì)算回歸分支的 loss，計(jì)算 3D box 需要 rotation_y，dimension 和 location 三個(gè)變量，disentangling 則是用一個(gè)預(yù)測值 + 兩個(gè) groundtruth 值來計(jì)算，從而得到三個(gè) 3D box，在進(jìn)行 L1 loss 計(jì)算。所以總的 loss 就是 分類 loss 和 3 個(gè)不同的 L1 回歸 loss

結(jié)論：

SMOKE 的backbone 使用了 DLA，而且依賴 Dcnv，所以模型比較大，對(duì)落地部署不是很友好。而且是依賴鏡頭的內(nèi)參的，不清楚多種數(shù)據(jù)訓(xùn)和訓(xùn)練效果如何。3D框的回歸比較穩(wěn)定，但存在漏檢，尤其是小目標(biāo)和只出現(xiàn)一部分的目標(biāo)。如果能參考主流 2D 檢測的多層檢測，和優(yōu)化關(guān)鍵點(diǎn)分支的策略，也許能緩解這些問題。

編輯：黃飛

?