主要內(nèi)容：

提出了一種基于線(xiàn)的重建算法，Limap，可以從多視圖圖像中構(gòu)建3D線(xiàn)地圖，通過(guò)線(xiàn)三角化、精心設(shè)計(jì)的評(píng)分和track構(gòu)建以及利用線(xiàn)的重合，平行性和正交性等結(jié)構(gòu)先驗(yàn)來(lái)實(shí)現(xiàn)的，可以與現(xiàn)有的基于點(diǎn)的SFM算法集成，并且可以利用其3D點(diǎn)來(lái)進(jìn)一步改善線(xiàn)重建的結(jié)果。

構(gòu)建的3D線(xiàn)地圖也開(kāi)辟了新的研究方向，即基于線(xiàn)的視覺(jué)定位和BA，其中將線(xiàn)與點(diǎn)結(jié)合在一起會(huì)產(chǎn)生最佳結(jié)果。

代碼開(kāi)源在https://github.com/cvg/limap.

點(diǎn)云地圖與線(xiàn)地圖：

目前通過(guò)SFM估計(jì)場(chǎng)景幾何結(jié)構(gòu)和構(gòu)建稀疏地圖主要是基于點(diǎn)的方法，即提取匹配圖像中的關(guān)鍵點(diǎn)，然后三角化，BA。

但是基于特征點(diǎn)構(gòu)建點(diǎn)云地圖在沒(méi)有足夠穩(wěn)定的關(guān)鍵點(diǎn)去檢測(cè)匹配的時(shí)候，比如室內(nèi)場(chǎng)景，往往效果不好。但是這些場(chǎng)景基本都包含豐富的線(xiàn)條，例如在墻壁、窗戶(hù)、門(mén)或天花板，而且線(xiàn)往往表現(xiàn)出更高的定位精度，因?yàn)槠湎袼氐牟淮_定性較小。線(xiàn)常常以高度結(jié)構(gòu)化的模式出現(xiàn)，通常滿(mǎn)足場(chǎng)景范圍的幾何約束，例如共面性，重合 （線(xiàn)相交），平行和正交性。但是線(xiàn)也會(huì)遇到不同的問(wèn)題，例如線(xiàn)端點(diǎn)定位不良和部分遮擋。然而，最近的線(xiàn)檢測(cè)器和匹配正在彌合點(diǎn)和線(xiàn)之間的性能差距，目前線(xiàn)圖構(gòu)建的困難在于：

（1）線(xiàn)端點(diǎn)不一致：由于部分遮擋，線(xiàn)通常在圖像之間具有不一致的端點(diǎn)。

（2）線(xiàn)割裂：在每個(gè)圖像中，可能有多個(gè)線(xiàn)段屬于3D中的同一條線(xiàn)。與構(gòu)建3D點(diǎn)track相比，創(chuàng)建線(xiàn)的track關(guān)聯(lián)的過(guò)程更加復(fù)雜。

（3）沒(méi)有兩視圖幾何驗(yàn)證：點(diǎn)匹配可以通過(guò)極幾何在兩個(gè)視圖中驗(yàn)證，但線(xiàn)至少需要三個(gè)視圖來(lái)過(guò)濾

（4）退化：在實(shí)踐中，線(xiàn)三角化更傾向于不穩(wěn)定的配置 （參見(jiàn)圖8），例如每當(dāng)線(xiàn)與相機(jī)運(yùn)動(dòng)平行時(shí)，線(xiàn)三角化會(huì)退化。

（5）較弱的基于描述子的匹配：線(xiàn)段的最新描述子遠(yuǎn)遠(yuǎn)落后于基于點(diǎn)的描述子，因此在重建過(guò)程中更加強(qiáng)調(diào)幾何驗(yàn)證和過(guò)濾。

為此，本篇文章旨在減少基于點(diǎn)的建圖解決方案和基于線(xiàn)的建圖解決方案之間的差距

Contributions：

（1）構(gòu)建了一個(gè)新的線(xiàn)建圖系統(tǒng)，該系統(tǒng)可以從多視圖RGB圖像中可靠地重建3D線(xiàn)段。與以前的方法相比，構(gòu)建的線(xiàn)圖更完整、更準(zhǔn)確

（2）通過(guò)自動(dòng)識(shí)別和利用結(jié)構(gòu)先驗(yàn) （例如線(xiàn)重合和平行） 來(lái)實(shí)現(xiàn)這一目標(biāo)。技術(shù)貢獻(xiàn)涵蓋了線(xiàn)圖的所有階段，包括線(xiàn)三角化，評(píng)分，track構(gòu)建和聯(lián)合優(yōu)化。

（3）該框架是靈活的，因此研究人員可以輕松地更改組件 （例如檢測(cè)器，匹配器，消失點(diǎn)估計(jì)器等） 或集成其他傳感器數(shù)據(jù) （例如深度圖或其他3D信息）

（4）通過(guò)對(duì)合成和真實(shí)數(shù)據(jù)集進(jìn)行定量評(píng)估來(lái)對(duì)性能進(jìn)行基準(zhǔn)測(cè)試，每個(gè)場(chǎng)景都有數(shù)百?gòu)垐D像，其中LIMAP始終顯著優(yōu)于現(xiàn)有方法

（5）通過(guò)在諸如視覺(jué)定位和SFM中的BA之類(lèi)的任務(wù)中比純基于點(diǎn)的方法有所改進(jìn)，來(lái)證明強(qiáng)大的線(xiàn)圖的有用性。

Pipeline：

輸入：圖像，還可以額外添加點(diǎn)云模型。假設(shè)每個(gè)圖像的相機(jī)姿勢(shì)是可用的 （例如，來(lái)自SfM/SLAM）。

算法包括三個(gè)主要步驟：

（1）假設(shè)生成： 對(duì)于每個(gè)2D線(xiàn)段，生成一組3D線(xiàn)假設(shè)。

（2）假設(shè)評(píng)分和track關(guān)聯(lián)： 考慮到多視圖一致性對(duì)每個(gè)假設(shè)進(jìn)行評(píng)分，為每個(gè)2D線(xiàn)選擇最佳候選，并將它們關(guān)聯(lián)到一組3D線(xiàn)track中。

（3）聯(lián)合優(yōu)化： 與3D點(diǎn)和VP（消失點(diǎn)）方向一起在3D線(xiàn)track上共同執(zhí)行非線(xiàn)性細(xì)化，將附加的結(jié)構(gòu)先驗(yàn)集成為軟約束。

論文技術(shù)點(diǎn)：

生成三維線(xiàn)假設(shè)：

為每個(gè)2D線(xiàn)段生成一組3D線(xiàn)假設(shè)，給定圖像中的一個(gè)線(xiàn)段，使用任何現(xiàn)有的線(xiàn)匹配算法來(lái)檢索n個(gè)最接近的圖像中的前K個(gè)線(xiàn)匹配。

λ1和 λ2是投影矩陣，讓所有假設(shè)的三維線(xiàn)的端點(diǎn)位于2D端點(diǎn)對(duì)應(yīng)的相機(jī)光線(xiàn)上。

對(duì)于每個(gè)匹配的2D線(xiàn)段，通過(guò)代數(shù)線(xiàn)三角化生成一個(gè)假設(shè)。設(shè) （Rm，tm） 為匹配視圖的相機(jī)姿態(tài)。然后線(xiàn)性求解端點(diǎn)射線(xiàn)深度 λ ：

因?yàn)樯厦嬷v了線(xiàn)三角化會(huì)出現(xiàn)退化，為了在退化的情況下獲得有意義的假設(shè)，利用來(lái)自點(diǎn)或相關(guān)消失點(diǎn) （VPs） 的其他幾何信息，即2D-3D點(diǎn)對(duì)應(yīng)關(guān)系，這可以來(lái)自基于點(diǎn)的SfM模型，也可以從匹配的端點(diǎn)進(jìn)行三角化。對(duì)于每個(gè)2D線(xiàn)段，將一個(gè)像素閾值內(nèi)的所有2D點(diǎn)關(guān)聯(lián)起來(lái)，從而與它們對(duì)應(yīng)的3D點(diǎn)關(guān)聯(lián)起來(lái)。

借助相關(guān)的2D-3D點(diǎn)對(duì)應(yīng)和消失點(diǎn)，為每個(gè)2D線(xiàn)段生成第二組假設(shè)

假設(shè)評(píng)分和軌跡關(guān)聯(lián)：

現(xiàn)在圖像I中的每個(gè)2D線(xiàn)段與每個(gè)相鄰圖像J的一組3D線(xiàn)假設(shè)相關(guān)聯(lián)。這部分要對(duì)這些假設(shè)進(jìn)行評(píng)分并進(jìn)行track關(guān)聯(lián)。

利用不同的評(píng)分方法來(lái)量化兩個(gè)3D線(xiàn)段 （L1，L2） 之間的距離。這個(gè)距離可以在三維或者二維進(jìn)行度量。

距離度量：

有角距離（L1和L2之間的角度），

垂直距離（L1的端點(diǎn)到L2跨越最大正交距離）

透視距離： 假設(shè)L1和L2的端點(diǎn)在相同的光線(xiàn)上，該距離被定義為端點(diǎn)距離，如下圖所示。

利用2D和3D中的角距離，以及2D中的垂直距離，和透視距離。為了將它們聚合在一起，將尺度因子 τ 關(guān)聯(lián)到每個(gè)距離r，得到歸一化分?jǐn)?shù)

用S表示所有相應(yīng)的歸一化分?jǐn)?shù)的集合，L1和L2之間的分?jǐn)?shù)為：

現(xiàn)在有了每個(gè)線(xiàn)對(duì)的唯一分?jǐn)?shù)，然后考慮來(lái)自相鄰圖像j和假設(shè)k的所有相鄰3D線(xiàn)候選。一致性分?jǐn)?shù)是通過(guò)對(duì)每個(gè)圖像的最佳分?jǐn)?shù)求和來(lái)定義的：

此時(shí)已為每個(gè)2D線(xiàn)段分配了唯一的3D線(xiàn) （其最佳3D線(xiàn)候選）。然后目標(biāo)是將這些2D線(xiàn)段集成到3D線(xiàn)track中。為此形成一個(gè)圖，其中2D線(xiàn)段是節(jié)點(diǎn)，所有初始線(xiàn)匹配都是邊，目標(biāo)是修剪圖中的邊緣，以使連接的2D線(xiàn)段共享相似的3D線(xiàn)段。為此提出了兩種新的線(xiàn)評(píng)分措施，可以應(yīng)對(duì)不同的端點(diǎn)配置和跨圖像的可變的尺度：

重疊分?jǐn)?shù)：將L1正交投影到L2上，將投影的端點(diǎn)剪切到L2的端點(diǎn) （如果它們落在L2之外） 以獲得線(xiàn)段，并將長(zhǎng)度與閾值τ進(jìn)行比較：

內(nèi)聯(lián)線(xiàn)段距離：L1的端點(diǎn)垂直地未投影到l2。如果它們落在L2之外，將它們剪切到L2的最接近端點(diǎn)。通過(guò)在兩個(gè)方向上執(zhí)行此操作，可以定義兩個(gè)內(nèi)點(diǎn)線(xiàn)段 （參見(jiàn)圖3（c）），并將InnerSeg距離定義為它們端點(diǎn)之間的最大距離。

然后將以3D計(jì)算的InnerSeg距離轉(zhuǎn)換為上一段中的歸一化分?jǐn)?shù)，并將其與2D和3D中的重疊分?jǐn)?shù)以及使用 （5） 的先前分?jǐn)?shù)相結(jié)合。

然后對(duì)于每個(gè)track重新估計(jì)單個(gè)3D線(xiàn)段。使用來(lái)自track中所有節(jié)點(diǎn)的3D分配的端點(diǎn)集，應(yīng)用主成分分析 （PCA），并使用主特征向量和平均3D點(diǎn)來(lái)估計(jì)無(wú)限3D線(xiàn)。然后將所有端點(diǎn)投影在這條無(wú)限線(xiàn)上，以獲得新的3D端點(diǎn)。

線(xiàn)和點(diǎn)聯(lián)合優(yōu)化：

使用其軌跡信息對(duì)獲取的3D線(xiàn)進(jìn)行非線(xiàn)性細(xì)化。直接的方法是對(duì)重投影誤差進(jìn)行幾何細(xì)化。有了2D點(diǎn)線(xiàn)關(guān)聯(lián)，可以通過(guò)包含其他結(jié)構(gòu)信息來(lái)制定聯(lián)合優(yōu)化問(wèn)題。最小化的能量可以寫(xiě)如下：

分別是點(diǎn)優(yōu)化項(xiàng)，線(xiàn)優(yōu)化項(xiàng)，線(xiàn)和點(diǎn)聯(lián)合優(yōu)化項(xiàng)。

eperp是垂直距離，Lk是3D線(xiàn)段的2D投影，lk是2D線(xiàn)段，w∠是1減去投影和觀測(cè)線(xiàn)之間的2D角度的余弦的指數(shù)。

實(shí)驗(yàn)：

首先建立了一個(gè)評(píng)估基準(zhǔn)來(lái)量化建圖的質(zhì)量，由于沒(méi)有地面真相 （GT） 3D線(xiàn)，因此使用GT網(wǎng)格模型或點(diǎn)云評(píng)估3D線(xiàn)圖。使用以下指標(biāo)：

τ （Rτ）處的長(zhǎng)度召回 （以米為單位）： 距GT模型 τ mm以?xún)?nèi)的線(xiàn)部分的長(zhǎng)度總和。

τ （Pτ）處的inlier百分比： 距GT模型 τ mm以?xún)?nèi)的track的百分比。

平均支持： 所有線(xiàn)track上的圖像支持和2D線(xiàn)支持的平均數(shù)量。

將論文算法與兩種最先進(jìn)的方法作為基線(xiàn)進(jìn)行比較： L3D++和ELSR，使用兩個(gè)線(xiàn)檢測(cè)器： 傳統(tǒng)的LSD檢測(cè)器和基于學(xué)習(xí)的SOLD2。

對(duì)于ELSR，將輸入轉(zhuǎn)換為VisualSfM 格式，并使用來(lái)自作者的code（僅支持LSD）。

第一個(gè)評(píng)估是在Hypersim數(shù)據(jù)集的前八個(gè)場(chǎng)景上運(yùn)行的，每個(gè)場(chǎng)景由100個(gè)圖像組成。

結(jié)果顯示比競(jìng)爭(zhēng)對(duì)手更好或可比的精度的更完整的線(xiàn)圖，同時(shí)也顯示出明顯更高的track質(zhì)量。

進(jìn)一步評(píng)估了Tanks和Temples數(shù)據(jù)集的train部分。由于SOLD2是針對(duì)室內(nèi)圖像進(jìn)行訓(xùn)練的，因此僅使用LSD。由于所提供的點(diǎn)云被清理為僅專(zhuān)注于主要目標(biāo)，因此計(jì)算其邊界框，將其擴(kuò)展1米，并且僅評(píng)估該區(qū)域內(nèi)的線(xiàn)。這樣可以防止錯(cuò)誤地懲罰遠(yuǎn)離主場(chǎng)景的正確線(xiàn)條。

論文方法提高了地圖質(zhì)量。圖4顯示了其方法和L3D++之間的定性比較。結(jié)果顯示出更好的完整性，也具有更少的嘈雜的線(xiàn)條，并實(shí)現(xiàn)了對(duì)細(xì)微細(xì)節(jié) （例如在地面上） 的更強(qiáng)大的重建。

為了演示所提出的系統(tǒng)的可伸縮性，還在兩個(gè)大規(guī)模數(shù)據(jù)集上運(yùn)行其方法： Aachen （6，697圖像）和Rome city （16，179圖像） 。圖7顯示了其方法產(chǎn)生具有清晰結(jié)構(gòu)的可靠線(xiàn)圖。

為了證明構(gòu)建的線(xiàn)圖對(duì)其他應(yīng)用有效果，比如視覺(jué)定位和原本的點(diǎn)云模型的細(xì)化等方面，進(jìn)行了一些實(shí)驗(yàn)：

針對(duì)線(xiàn)輔助的視覺(jué)定位：在獲取的3D線(xiàn)圖之上構(gòu)建了一個(gè)混合視覺(jué)定位，其點(diǎn)和線(xiàn)都具有。具體來(lái)說(shuō)，首先使用提出的方法構(gòu)建HLoc 中的點(diǎn)圖和線(xiàn)圖。然后分別匹配點(diǎn)和線(xiàn)從3D地圖中的軌跡信息獲取2D-3D對(duì)應(yīng)關(guān)系。

鑒于這些對(duì)應(yīng)關(guān)系，將四個(gè)最小求解器 ： P3P，P2P1LL，P1P2LL，P3LL結(jié)合在一個(gè)具有局部?jī)?yōu)化的混合RANSAC框架中以獲得最終的6自由度姿勢(shì)。

結(jié)果在表7，證明了線(xiàn)輔助的定位在室內(nèi)和室外均比單獨(dú)的基線(xiàn)獲得了更好的結(jié)果，從而驗(yàn)證了采用3D線(xiàn)圖進(jìn)行視覺(jué)定位的有效性。

在圖9中，顯示了來(lái)自7 Scenes的樓梯場(chǎng)景的更詳細(xì)的結(jié)果，因?yàn)樗亲罹咛魬?zhàn)性的場(chǎng)景之一。線(xiàn)顯著地有利于重新投影結(jié)構(gòu)的對(duì)準(zhǔn)，從46.8提高到71.1的姿態(tài)精度。

細(xì)化SFM點(diǎn)云：通過(guò)從大致正確的基于點(diǎn)的SFM （例如COLMAP） 構(gòu)建的3D線(xiàn)圖，可以使用3D線(xiàn)及其軌跡信息，通過(guò)點(diǎn)與線(xiàn)的聯(lián)合優(yōu)化來(lái)優(yōu)化輸入的相機(jī)姿勢(shì)。為了驗(yàn)證這一點(diǎn)，在Hypersim的前八個(gè)場(chǎng)景上運(yùn)行COLMAP，在其之后構(gòu)建線(xiàn)地圖，并執(zhí)行聯(lián)合BA以?xún)?yōu)化姿態(tài)和內(nèi)參。

審核編輯 ：李倩