SfM是指給定一組無序圖像，恢復出相機位姿以及場景點云。通用場景下的SfM效果已經(jīng)很好，而且COLMAP這類框架也很好用。但是弱紋理和無紋理場景下的SfM卻很麻煩，主要目前主流的SfM框架都是先提取圖像中的特征點，然后進行特征匹配。但是在無紋理條件下，很難提取穩(wěn)定且重復的特征點，這就導致SfM恢復出的位姿和三維點云非常雜亂。

很直接的一個想法就是，如果不提取特征點，直接進行匹配呢？

最近，浙江大學就基于這種思想提出了一種弱紋理場景下的SfM框架，主要流程是首先基于LoFTR這類Detector-Free圖像匹配算法獲得粗糙位姿和點云，然后使用Transformer多視圖匹配算法優(yōu)化特征點坐標，利用BA和TA進一步優(yōu)化位姿和點云。這個算法獲得了2023 IMC的冠軍，整體性能很好。今天筆者就將帶領大家一起閱讀一下這項工作，當然筆者水平有限，如果有理解不當?shù)牡胤綒g迎大家一起討論。

1. 效果展示

先來看一下傳統(tǒng)基于特征點的SfM在弱紋理場景下的表現(xiàn)：

可以發(fā)現(xiàn)由于特征點提取的重復性差，匹配性能不好，進一步導致位姿和點云估計的結(jié)果很差。那么再來看看Detector-Free SfM這項工作，其主要目的是實現(xiàn)弱紋理場景下的SfM，可以發(fā)現(xiàn)在典型場景下運行良好，甚至海底、月球表面這種場景都可以進行定位和重建！推薦學習3D視覺工坊近期開設的課程：國內(nèi)首個面向自動駕駛目標檢測領域的Transformer原理與實戰(zhàn)課程

有了精確的位姿和點云，就可以進行很多SfM的下游任務，例如新視點合成和稠密重建：

不幸的是，這個算法暫時還沒有開源，感興趣的小伙伴可以追蹤一下Github。下面來看一下論文的具體信息。

我們提出了一個新的SfM框架來從無序的圖像中恢復精確的相機姿態(tài)和點云。傳統(tǒng)的SfM系統(tǒng)通常依賴于跨多個視圖的可重復特征點的成功檢測，這對于弱紋理的場景來說是困難的，并且較差的特征點檢測可能會破壞整個SfM系統(tǒng)。受益于最近無檢測器匹配器的成功，我們提出了一種新的無檢測器SfM框架，避免了早期特征點的確定，同時解決了無檢測器匹配器的多視圖不一致問題。具體來說，我們的框架首先從量化的無檢測器匹配中重建一個粗略的SfM模型。然后，它通過一個新穎的迭代優(yōu)化管道對模型進行細化，該管道在基于注意力的多視圖匹配模塊和幾何優(yōu)化模塊之間進行迭代，以提高重建精度。實驗表明，所提框架在通用基準數(shù)據(jù)集上優(yōu)于現(xiàn)有的基于檢測器的SfM系統(tǒng)。我們還收集了一個弱紋理的SfM數(shù)據(jù)集，以展示我們的框架重建弱紋理場景的能力。

2. 算法解析

算法的Pipeline非常直觀，輸入是一組無序圖像，輸出是相機位姿、內(nèi)參和點云。具體的流程是一個兩階段由粗到精的策略，首先使用一個Detector-Free的特征匹配器（LoFTR）來直接進行圖像對的稠密匹配，以此來消除特征點的低重復性帶來的影響。然后量化特征位置到粗網(wǎng)格來提高一致性，并重建粗SfM模型，為后續(xù)優(yōu)化提供初始的相機位姿和場景結(jié)構(gòu)。之后，使用軌跡優(yōu)化和幾何優(yōu)化交替進行的聯(lián)合迭代優(yōu)化pipeline，以提高位姿和點云精度。

Detector-Free匹配器一般也都采用由粗到精的策略，首先在下采樣特征圖的粗網(wǎng)格上進行稠密匹配，然后在一幅圖像上固定粗匹配的特征位置，而在另一幅圖像上用精細的特征圖搜索它們的亞像素對應關系。理論上這種思想是可以直接應用到SfM上的，但這里有個問題，也就是在一幅圖像中產(chǎn)生的特征位置依賴于另一幅圖像，這樣在多個視圖進行匹配時，特征軌跡就很容易中斷！

作者的具體做法是，將匹配的2D位置量化為一個網(wǎng)格?x / r?（r是網(wǎng)格大小），直接令多個相近的子像素合并為同一網(wǎng)格節(jié)點。實際上是以犧牲精度為代價，換取了一致性。

后續(xù)的迭代優(yōu)化過程很有意思，優(yōu)化的對象就是匹配點的2D坐標，主要思想還是對所有視圖中的特征點位置進行局部調(diào)整，使其特征之間的相關性最大化。

怎么做呢？直接計算所有的關聯(lián)視圖嗎？那樣計算量就太大了。

作者這里用了一個trick，就是選擇一個參考視圖，提取參考視圖中特征點處的特征，并將其與其他視圖（查詢視圖）中特征點周圍大小為p × p的局部特征圖進行關聯(lián)，得到一組p × p的熱圖，相當于特征點位置的分布。另一方面，還要計算每個熱圖上的期望和方差，方差之和也就是優(yōu)化的目標函數(shù)。

還有個問題，就是這個參考視圖怎么選擇呢？這里的準則其實是最小化參考視圖和查詢視圖之間的特征點尺度差異。具體來說，就是根據(jù)當前恢復的位姿和點云計算特征點的深度值，然后選擇中位數(shù)做為參考視圖。

還有個細節(jié)，就是如何提取以2D特征點為中心的局部特征塊？這里是將以每個關鍵點為中心的p × p個圖像塊輸入到CNN中，得到一組特征塊，然后再利用Transformer的自注意力和交叉注意力得到最終的特征圖。

最后還有一個級聯(lián)的BA和TA（Topology Adjustment）優(yōu)化的過程，來細化位姿和點云。由于經(jīng)過了Transformer優(yōu)化和BA，這時候整體的場景已經(jīng)比較準確了，因此TA優(yōu)化過程中還加入了之前未能配準的2D點。整個優(yōu)化過程，也就是不停的交替進行BA和TA，再把優(yōu)化后的點云投影到圖像上來更新2D位置，再進行下一次迭代優(yōu)化。

3. 實驗

整個模型需要訓練的地方就是Detector-Free匹配器還有多視圖特征提取Transformer，訓練是再MegaDepth數(shù)據(jù)集進行，訓練思路就是最小化優(yōu)化軌跡和真實軌跡之間特征點位置上的平均l2損失。對比方案還是挺全的，有SIFT這種手工特征點，也有R2D2、SuperPoint這類深度學習特征點，數(shù)據(jù)方面使用了Image Matching Challenge (IMC)、ETH3D還有他們自己采集的Texture-Poor SfM數(shù)據(jù)集。

結(jié)果顯示，這個算法搭配LoFTR可以實現(xiàn)比較好的性能（讀者也可嘗試和其他的匹配算法結(jié)合）。值得注意的是，SuperPoint + SuperGlue + PixSfM這個組合的性能也非常棒，也說明SP+SG在很多情況下都是通用的。

定性的對比就更直觀了，紅框代表Ground Truth，顯然在低紋理場景下這篇文章提出的算法性能更優(yōu)，甚至好幾個場合SP+SG的組合直接掛掉了。

再來看看三角化的結(jié)果，可以進一步證明位姿和內(nèi)參估計的準確性。同樣是基于LoFTR的組合取得了更高的精度，這里AspanTrans的配置犧牲了一點精度，但是完整性更好。

下面是一個驗證優(yōu)化模塊影響的實驗，做的是熱力圖的比較，O和X分別表示粗糙和精細的特征點位置。結(jié)果顯示引入優(yōu)化后，熱力圖的對比更明顯。而且優(yōu)化后的點云也更精確。

然后是一個消融實驗，分別測試的量化比值、迭代次數(shù)、視圖數(shù)量以及各部分模塊的消融實驗。主要還是通過這組實驗確定模型和迭代的最優(yōu)參數(shù)。推薦學習3D視覺工坊近期開設的課程：國內(nèi)首個面向自動駕駛目標檢測領域的Transformer原理與實戰(zhàn)課程

想必大家一定很關心運行的效率和耗時，作者最后做了一個在處理大規(guī)模場景時，模型的3D點數(shù)、優(yōu)化時間、內(nèi)存開銷的一個對比。內(nèi)存占用沒有多大，這是因為算法是先進行多視圖匹配，再進行幾何優(yōu)化，因此BA不需要像PixSfM那樣存儲每個2D點的特征塊或代價圖。

4. 總結(jié)

這項工作是針對弱紋理這一特定場景設計的，整體的設計思路很通順，效果也非常棒。如果要說問題，那就是計算效率了，畢竟LoFTR匹配本身就非常耗時。但本身SfM就不像SLAM那樣追求實時性，所以計算效率倒也不是什么大問題，可以嘗試通過一些并行BA的方法來優(yōu)化。另一方面，作者提到可以和深度圖、IMU等多模態(tài)數(shù)據(jù)進行融合，也是很不錯的研究方向。

審核編輯：彭菁