0.筆者個人體會：

這個工作來自于Baidu ADT部門，是該團(tuán)隊(duì)繼L3-Net之后的在自動駕駛領(lǐng)域內(nèi)關(guān)于定位的又一力作，其利用圖像數(shù)據(jù)取得了與基于Lidar的方法相當(dāng)?shù)亩ㄎ痪取?其突出的優(yōu)勢在于：

1.該方法達(dá)到了極高的精度。即使是在訓(xùn)練以及建圖是用到了激光雷達(dá)（點(diǎn)云數(shù)據(jù)），但在實(shí)際線上使用時，只用了圖像數(shù)據(jù)。在這種設(shè)置下，本方法大大節(jié)省了實(shí)際使用時的成本，并達(dá)到了厘米級別的精度。

2.該方法繼承了L3-Net在求解位姿時的做法，即基于Cost volume求解位姿修正量。這種設(shè)置可以滿足端到端訓(xùn)練的需求，并在某種程度上等價于對候選的位姿進(jìn)行遍歷對比，求解了一定范圍內(nèi)的最優(yōu)解。

3.該方法的時間效率可控。隨著選擇較少的關(guān)鍵點(diǎn)數(shù)量，該方法可以達(dá)到極高的時間效率。

但此方法也有一定的不足，即該方法嚴(yán)重依賴于給定初始預(yù)測位姿的精度?；贑ost volume的定位本質(zhì)上是在候選位姿集合上做一個遍歷，選擇其中的最優(yōu)解。

但如果給定的初始預(yù)測位姿精度不夠時，所有候選位姿的精度都有限，即無法得到一個精度較高的定位結(jié)果。這個問題可能為實(shí)際使用帶來一定的局限性。

1、論文相關(guān)內(nèi)容介紹：

摘要：針對自動駕駛應(yīng)用領(lǐng)域，本文提出了一種基于深度注意力感知特征的視覺定位框架，該框架可達(dá)到厘米級的定位精度。傳統(tǒng)的視覺定位方法依賴于手工制作的特征或道路上的人造物體。然而，它們要么容易由于嚴(yán)重的外觀或光照變化而導(dǎo)致不穩(wěn)定的匹配，要么太過稀少，無法在具有挑戰(zhàn)性的場景中提供穩(wěn)定和魯棒的定位結(jié)果。

在這項(xiàng)工作中，本文利用深度注意力機(jī)制，通過一種新的端到端深度神經(jīng)網(wǎng)絡(luò)來尋找場景中有利于長距離匹配的顯著的、獨(dú)特的和穩(wěn)定的特征。此外，此學(xué)習(xí)的特征描述符被證明有能力建立魯棒的匹配，因此成功地估計出最優(yōu)的、具有高精度的相機(jī)姿態(tài)。

本文使用新收集的具有高質(zhì)量的地面真實(shí)軌跡和傳感器之間硬件同步的數(shù)據(jù)集全面驗(yàn)證了本方法的有效性。

結(jié)果表明，與基于lidar的定位解決方案相比，在各種具有挑戰(zhàn)性的環(huán)境下，本文的方法獲得了具有競爭力的定位精度，這是一種潛在的低成本自動駕駛定位解決方案。

主要貢獻(xiàn)：

1.提出一種新穎的自動駕駛視覺定位框架，在各種具有挑戰(zhàn)性的照明條件下達(dá)到了厘米級定位精度。

2.通過一種新的端到端深度神經(jīng)網(wǎng)絡(luò)使用了注意力機(jī)制和深層特征，這有效的提高了算法性能。

3.使用具有高質(zhì)量的地面真實(shí)軌跡和硬件（相機(jī)、激光雷達(dá)、IMU）同步的新數(shù)據(jù)集對所提出的方法進(jìn)行嚴(yán)格測試，并驗(yàn)證了其性能。

方法介紹：

該系統(tǒng)分為三個階段:(1)網(wǎng)絡(luò)訓(xùn)練;(2)地圖生成;(3)在線定位。地圖生成和在線定位都可以看作是經(jīng)過訓(xùn)練的網(wǎng)絡(luò)的應(yīng)用。提出的網(wǎng)絡(luò)架構(gòu)如圖1所示。



Fig1：基于端到端深度注意力感知特征的視覺定位框架在三個不同階段的網(wǎng)絡(luò)架構(gòu)和系統(tǒng)工作流:a)訓(xùn)練;bb)地圖生成;c)在線定位。

一、系統(tǒng)工作流

1. 訓(xùn)練：

訓(xùn)練階段包括三個模塊，LFE, AKS和WFM。首先，給定一個預(yù)測位姿，并選取其在歐氏距離內(nèi)最接近的地圖圖像；接下來，LFE模塊分別從在線圖像和地圖圖像中提取稠密特征，并從地圖圖像中提取相應(yīng)的注意力熱圖。AKS模塊根據(jù)熱圖的注意力得分，從地圖圖像中選擇具備好的特征的點(diǎn)作為關(guān)鍵點(diǎn)。

然后通過激光雷達(dá)點(diǎn)云投影得到它們的相應(yīng)的三維坐標(biāo)。最后，以這些三維關(guān)鍵點(diǎn)和特征描述符作為輸入，WFM模塊在一個三維代價卷中搜索，尋找最優(yōu)位姿偏移量，并將最優(yōu)位姿偏移量與地面真實(shí)位姿進(jìn)行比較，構(gòu)造損失函數(shù)。

2.地圖生成：

訓(xùn)練結(jié)束后，使用如圖2所示的網(wǎng)絡(luò)的部分子網(wǎng)絡(luò)，可以完成地圖生成。給定激光雷達(dá)掃描和車輛真實(shí)位姿，可以很容易地獲得激光雷達(dá)點(diǎn)的全局三維坐標(biāo)。注意，激光雷達(dá)傳感器和車輛位姿真值僅用于建圖。首先，在給定車輛真實(shí)位姿的情況下，通過將三維激光雷達(dá)點(diǎn)投影到圖像上，將地圖圖像像素與全局三維坐標(biāo)關(guān)聯(lián)起來。

然后利用LFE網(wǎng)絡(luò)求解地圖圖像的注意力熱圖和不同分辨率的特征圖。接下來，在AKS模塊的金字塔中為不同的分辨率選擇一組關(guān)鍵點(diǎn)?？傮w而言，本方法將關(guān)鍵點(diǎn)及其特征描述符，以及其3D坐標(biāo)保存到地圖數(shù)據(jù)庫中。

3.在線定位：

在定位階段，利用LFE網(wǎng)絡(luò)再次估計在線圖像中不同分辨率的特征圖。本方法從給定的相機(jī)的預(yù)測位姿的最近的地圖圖像中收集關(guān)鍵點(diǎn)及其特征描述符和全局3D坐標(biāo)。

然后，在WFM模塊中，構(gòu)建的成本卷中給出了候選位姿，而這些關(guān)鍵點(diǎn)則被利用這些候選位姿投影到在線圖像上。通過三個不同分辨率的特征匹配網(wǎng)絡(luò)級聯(lián)實(shí)現(xiàn)由粗到細(xì)的位姿估計。



Fig.2 三個主要模塊的網(wǎng)絡(luò)結(jié)構(gòu)說明:(a)局部特征學(xué)習(xí)(LFE);(b)關(guān)鍵點(diǎn)選取(AKS);(c)加權(quán)特征匹配(WFM)。

二、局部特征學(xué)習(xí)

在所有三個不同的階段都使用相同的LFE模塊。本文采用了一種類似于特征金字塔網(wǎng)絡(luò)(FPN)的網(wǎng)絡(luò)架構(gòu)，如圖2(a)所示。通過將編碼器和解碼器中相同大小的特征圖級聯(lián)起來，F(xiàn)PN可以在所有尺度上增強(qiáng)高級語義特征，從而獲得更強(qiáng)大的特征提取器。

在本方法的編碼器中有一個FPN，其由17層網(wǎng)絡(luò)組成，可以分解為4個階段。第一階段由兩個二維卷積層組成，其中括號中的數(shù)字分別是通道、核和步幅大小。從第二階段開始，每個階段包括一個二維卷積層和兩個殘差塊。每個殘差塊由兩個3 × 3卷積層組成。

在解碼器中，經(jīng)過二維卷積層后，上采樣層被應(yīng)用于從更粗糙但語義更強(qiáng)的特征中產(chǎn)生更高分辨率的特征。來自編碼器的相同分辨率的特征被通過按元素平均來合并以增強(qiáng)解碼器中的這些特征。解碼器的輸出是原始圖像的不同分辨率的特征圖。再通過如圖2右下角所示的兩個不同的網(wǎng)絡(luò)頭，分別用于提取特征描述符和估計注意力熱圖

。特征描述符表示為d維向量，能夠在不同光照或視點(diǎn)條件引起的嚴(yán)重外觀變化下進(jìn)行魯棒匹配。該熱圖由[0-1]標(biāo)量組成，這些標(biāo)量在后文的基于注意力的關(guān)鍵點(diǎn)選擇和特征匹配模塊中用作相關(guān)性權(quán)重。更具體地說，



是描述符學(xué)習(xí)模塊輸出， 其中s∈2,4,8是尺度因子，D = 8為特征維度。注意力熱圖輸出是．

三、關(guān)鍵點(diǎn)選取

在研究過程中，了解到不同的關(guān)鍵點(diǎn)選擇策略對系統(tǒng)的整體性能有相當(dāng)大的影響。AKS模塊分為兩個階段:訓(xùn)練和地圖生成。當(dāng)在解決一個幾何問題時，眾所周知，相較于聚集在一起的關(guān)鍵點(diǎn)，在幾何空間中幾乎均勻分布的一組關(guān)鍵點(diǎn)是至關(guān)重要的。

本方法發(fā)現(xiàn)，提出的方法優(yōu)于其他更自然的選擇，例如top-K。本方法考慮了兩種選擇策略，即最遠(yuǎn)點(diǎn)采樣(FPS)算法及其變體，加權(quán)FPS (WFPS)算法（如圖2(b)所示）。給定一組已選點(diǎn)S和未選點(diǎn)Q，如果試圖迭代地從Q中選擇一個新點(diǎn), FPS算法會計算



在本方法的WFPS算法中，取而代之的是計算



在訓(xùn)練階段，本方法的目標(biāo)是統(tǒng)一學(xué)習(xí)所有的候選者的注意力分?jǐn)?shù)，因此必須要有一個有效的隨機(jī)選擇策略。為此，首先隨機(jī)抽取K個候選點(diǎn)，然后，本方法應(yīng)用FPS算法來選擇其中的關(guān)鍵點(diǎn)。 在地圖生成階段，本方法通過有效地結(jié)合學(xué)習(xí)的注意力權(quán)重實(shí)現(xiàn)了一個能夠選擇好的關(guān)鍵點(diǎn)的算法。

本方法再次隨機(jī)選擇K個候選點(diǎn)，然后在地圖生成過程中使用WFPS，并以熱圖為采樣概率來使用稠密采樣。 為了將二維特征描述符與三維坐標(biāo)相關(guān)聯(lián)，本方法將3D激光雷達(dá)點(diǎn)投射到圖像上。考慮到并非所有的圖像像素都與LiDAR點(diǎn)相關(guān)聯(lián)，本方法只考慮與已知三維坐標(biāo)有關(guān)聯(lián)的稀疏2D像素作為候選點(diǎn)，從中選擇適合匹配的關(guān)鍵點(diǎn)。

四、加權(quán)特征匹配

傳統(tǒng)方法通常利用RANSAC框架中的PnP求解器來求解給定2D-3D對應(yīng)的攝像機(jī)位姿估計問題。不幸的是，這些包括異常值拒絕步驟的匹配方法是不可微的，從而阻礙了他們在訓(xùn)練階段的反向傳播。

L3-Net引入了一種特征匹配和位姿估計方法，該方法利用可微分的三維代價卷來評估給定的位姿偏移量下，來自在線圖像和地圖圖像的對應(yīng)特征描述符對的匹配代價。 下面，本方法對原來的L3-Net設(shè)計進(jìn)行改進(jìn)，提出將注意力權(quán)重納入解決方案，并使其有效訓(xùn)練。網(wǎng)絡(luò)架構(gòu)如圖2(c)所示。

代價卷：與L3-Net的實(shí)現(xiàn)類似，本方法建立了一個



的代價卷，其中為所選關(guān)鍵點(diǎn)的個數(shù)，和為每個維度的網(wǎng)格大小。具體來說，給定預(yù)測位姿作為代價卷中心，將其相鄰空間均勻劃分為一個三維網(wǎng)格，記為

。

該代價卷中的節(jié)點(diǎn)是候選位姿，本方法希望從中評估其對應(yīng)的特征對并找到最優(yōu)解。具體而言，利用每個候選位姿將地圖圖像中選定的三維關(guān)鍵點(diǎn)投影到在線圖像上，通過對在線圖像特征圖進(jìn)行雙線性插值，計算出對應(yīng)的局部特征描述符。通過計算在線和地圖圖像的兩個描述符之間的元素的總的L2距離，本方法實(shí)現(xiàn)了一個單維代價標(biāo)量。然后，由一個以Conv3D(8,1,1)-Conv3D(8,1,1)-Conv3D(1,1,1)為內(nèi)核的三層三維CNN對代價卷進(jìn)行處理，結(jié)果記為

邊緣化：通過應(yīng)用平均操作，在關(guān)鍵點(diǎn)維度上將匹配代價卷邊緣化為。

在LFE模塊的熱圖學(xué)習(xí)訓(xùn)練中，成功的關(guān)鍵在于如何有效地結(jié)合所有關(guān)鍵點(diǎn)特征的注意力權(quán)重。與沒有注意力權(quán)重的平均相比，最直接的解決方案是使用加權(quán)平均操作取代直接平均。

本方法在訓(xùn)練時使用加權(quán)平均，在在線定位化階段使用直接平均。 其余部分估計的最優(yōu)偏移量及其概率分布與圖2 (c)所示的L3-Net的設(shè)計相同。

五、損失函數(shù)設(shè)計

1)絕對損失:以估計偏移量與真值之間的絕對距離作為第一個損失:

其中α是一個平衡因子。

2)聚集損失:除上述絕對損失外，概率分布對估計的魯棒性也有相當(dāng)大的影響。因此，取



其中。

從而第二個損失函數(shù)定義為。


3)相似損失:除幾何約束外，對應(yīng)的2D-3D關(guān)鍵點(diǎn)該有相似的描述符。因此，本方法將第三個損失定義為:



其中，為關(guān)鍵點(diǎn)P的三維CNN的輸出，當(dāng)使用真值位姿將地圖中的關(guān)鍵點(diǎn)投影到在線圖像上時，在在線圖像中找到對應(yīng)的點(diǎn)，并計算匹配點(diǎn)對之間的描述符的距離。是一個常數(shù)。

審核編輯：劉清