來源：3D視覺工坊

1. 導(dǎo)讀

視覺匹配是關(guān)鍵計算機(jī)視覺任務(wù)中的關(guān)鍵步驟，包括攝像機(jī)定位、圖像配準(zhǔn)和運(yùn)動結(jié)構(gòu)。目前最有效的匹配關(guān)鍵點的技術(shù)包括使用經(jīng)過學(xué)習(xí)的稀疏或密集匹配器，這需要成對的圖像。這些神經(jīng)網(wǎng)絡(luò)對兩幅圖像的特征有很好的總體理解，但它們經(jīng)常難以匹配不同語義區(qū)域的點。本文提出了一種新的方法，通過將語義推理結(jié)合到現(xiàn)有的描述符中，使用來自基礎(chǔ)視覺模型特征(如DINOv2)的語義線索來增強(qiáng)局部特征匹配。因此，與學(xué)習(xí)匹配器不同，學(xué)習(xí)描述符在推理時不需要圖像對，允許使用相似性搜索進(jìn)行特征緩存和快速匹配。我們提出了六個現(xiàn)有描述符的改編版本，在相機(jī)定位方面的性能平均提高了29%，在兩個現(xiàn)有基準(zhǔn)中與LightGlue和LoFTR等現(xiàn)有匹配器的準(zhǔn)確性相當(dāng)。

2. 引言

視覺匹配關(guān)系對于相機(jī)姿態(tài)估計、同步定位與地圖構(gòu)建（SLAM）以及運(yùn)動恢復(fù)結(jié)構(gòu)（SfM）等重要高級視覺任務(wù)至關(guān)重要。最近，用于在圖像對之間尋找視覺匹配關(guān)系的流程正在發(fā)生變化，更偏向于采用提供不同類型上下文聚合的方法，如學(xué)習(xí)的稀疏匹配器或密集對應(yīng)關(guān)系網(wǎng)絡(luò)。這些方法依賴于從兩個視角收集信息，以調(diào)節(jié)特征，從而更好地預(yù)測對應(yīng)關(guān)系。盡管它們已被證明在下游任務(wù)中能提供更好的結(jié)果，但需要對每對圖像都運(yùn)行一次，因此在諸如SfM流程等大型任務(wù)中使用成本高昂，在這些任務(wù)中，單張圖像將與其他具有相似視點的圖像多次匹配。雖然傳統(tǒng)的單視圖流程可以為單個圖像預(yù)先提取特征，并使用高效的相似性搜索（如互最近鄰MNN），但其表現(xiàn)不如上下文聚合方法。

本文提出了一種方法，通過語義調(diào)節(jié)關(guān)鍵點描述符，以找到更好且更一致的對應(yīng)關(guān)系，同時保持單視圖提取和緩存的優(yōu)勢?；A(chǔ)模型（如DINOv2和SAM）可以提取包含場景中語義概念理解的特征，以補(bǔ)充局部紋理模式。通過凍結(jié)主干網(wǎng)絡(luò)并針對特定任務(wù)訓(xùn)練新層，這些特征可以適應(yīng)于各種任務(wù)，例如圖像分類、實例檢索、視頻理解、深度估計、語義分割和語義匹配。為了捕捉場景和對象的意義，DINOv2等模型已經(jīng)發(fā)展出對局部紋理變化具有強(qiáng)大不變性的能力。然而，這些特征的高度不變性在識別圖像之間的像素級匹配時會降低其敏感性。相反，它們可以為區(qū)域之間的一致性提供基礎(chǔ)，這可用于過濾視覺上相似但語義上不同的區(qū)域之間的連接。

在本文中，我們提出了一種有效的技術(shù)，不是依賴于雙視圖上下文聚合，而是利用來自大型視覺模型（LVM）的高級特征理解，來語義調(diào)節(jié)基于紋理的對應(yīng)關(guān)系。

3. 效果展示

利用語義信息改善視覺匹配關(guān)系。該圖示展示了使用互最近鄰（MNN）對基礎(chǔ)描述符XFeat和我們的方法（采用語義條件，如圖右上角所示）進(jìn)行匹配的過程。正確匹配用綠色表示，錯誤匹配用紅色表示。我們還可以通過使用語義或紋理特征，在圖像中找到給定查詢點（左下角紅點）的128個最接近的匹配項，來評估描述符的可解釋性和一致性。顏色越暖表示相似性越高。請注意，在水槽區(qū)域附近，使用條件特征后的相似性排名有所提升。

4. 主要貢獻(xiàn)

本文的關(guān)鍵技術(shù)貢獻(xiàn)是一種新穎的學(xué)習(xí)方法，用于將語義上下文整合到局部特征中，從而在匹配過程中實現(xiàn)高效的相似性搜索，并顯著提高匹配準(zhǔn)確性。實驗結(jié)果表明，我們的方法在室內(nèi)環(huán)境中的相機(jī)姿態(tài)估計和視覺定位任務(wù)中，顯著提升了各種檢測和描述技術(shù)的性能。

5. 方法

我們闡述了本研究方法的主要概念，詳細(xì)說明了如何將語義感知添加到局部描述符中，以及為訓(xùn)練該描述符所設(shè)計的監(jiān)督方法。整體訓(xùn)練和推理階段的方案如圖2所示。推薦課程：面向三維視覺的Linux嵌入式系統(tǒng)教程[理論+代碼+實戰(zhàn)]。

所提策略首先提取兩組描述符：一組是使用現(xiàn)成的局部特征方法獲得的紋理特征，另一組是來自用于上下文信息的局部視覺模型（LVM）（如本文所選的DINOv2）。為此，我們采用了一種提取傳統(tǒng)、以紋理為中心特征的基礎(chǔ)方法，以及一種提取以語義為中心特征的基礎(chǔ)方法。在基礎(chǔ)提取之后，我們使用自注意力推理模塊對特征進(jìn)行細(xì)化。為了找到匹配的圖像對，我們使用為每幅圖像獨立提取的兩組紋理和語義特征，通過語義條件計算相似度矩陣，以找到相互匹配項。

在訓(xùn)練過程中，基礎(chǔ)提取器的參數(shù)保持不變（凍結(jié)），我們僅優(yōu)化初始投影和描述符推理的權(quán)重，如圖2所示。我們凍結(jié)權(quán)重是因為每個基礎(chǔ)提取器可能有更適合其的特定訓(xùn)練策略。通過使用凍結(jié)的、現(xiàn)成的提取器，我們可以容納更多方法。DINOv2也根據(jù)[11]進(jìn)行了凍結(jié)，該文獻(xiàn)將其用作多個任務(wù)的骨干網(wǎng)絡(luò)。

6. 實驗結(jié)果

定量配準(zhǔn)結(jié)果如表1和表2所示。表1中包含了雙視圖上下文聚合方法，如Light-Glue和LoFTR，以及其他也利用語義信息的描述符，如DeDoDe-G和SFD2。值得注意的是，即使僅進(jìn)行單視圖提取，SuperPoint與語義條件相結(jié)合也能與LightGlue（沒有任何配對視圖感知）相比產(chǎn)生具有競爭力的結(jié)果。表2描述了我們設(shè)計的利用語義信息提高現(xiàn)有描述符匹配能力的策略。我們可以注意到，當(dāng)與我們所提出的語義條件相結(jié)合時，所有基線均取得了顯著改進(jìn)。盡管其中許多方法（如DeDoDe、SFD2、ALIKE和ALIKED）僅使用MegaDepth數(shù)據(jù)集中的室外圖像進(jìn)行訓(xùn)練，但在不重新訓(xùn)練特征提取器或DINOv2骨干網(wǎng)絡(luò)的情況下，我們?nèi)钥蓪⑺鼈兊氖覂?nèi)位姿估計結(jié)果提高至少24%。這一結(jié)果表明，所提取的視覺線索本身并不優(yōu)于這些描述符的原始版本，但通過語義信息的輔助，其條件得到了改善。

視覺定位基準(zhǔn)測試結(jié)果如表3所示。一個有趣的觀察結(jié)果是，我們的方法能夠在多種情況下減少XFeat的錯誤。對于SuperPoint，我們的方法未能提供有意義的改進(jìn)。我們推測，由于XFeat的骨干網(wǎng)絡(luò)較小，它提供的特征更簡潔、冗余更少，因此不易過擬合，且能最大程度地利用語義信息。在考慮不同閾值內(nèi)定位相機(jī)的百分比時，我們實現(xiàn)了最高的正確定位相機(jī)平均百分比。從更嚴(yán)格的閾值（1?、1厘米至500厘米、10?）來看，LightGlue是黃金標(biāo)準(zhǔn)但匹配成本高昂，正確定位了66.97%的相機(jī)。緊隨其后的是我們的方法（以SuperPoint為基礎(chǔ)紋理檢測器）：66.95%，SuperPoint：66.88%，XFeat：66.36%，DeDoDe-G：64.44%。這表明，語義信息可以增加模糊區(qū)域的對應(yīng)點數(shù)量，如圖3所示。

7. 總結(jié) & 未來工作

本研究工作引入了一種基于學(xué)習(xí)的視覺特征描述技術(shù)，該技術(shù)能夠利用圖像中存在的語義線索。我們設(shè)計了一個執(zhí)行信息聚合的網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用語義特征來細(xì)化和調(diào)整現(xiàn)成的描述符，從而提高室內(nèi)視覺匹配的準(zhǔn)確性。在相機(jī)位姿估計方面，我們的方法性能優(yōu)于現(xiàn)有的探索語義線索的最先進(jìn)模型，并且即使與最近的學(xué)習(xí)匹配器（如LightGlue）相比也頗具競爭力，而我們僅使用單幅圖像進(jìn)行特征提取，并使用最近鄰搜索進(jìn)行匹配。通過大量實驗，我們證明了我們的方法可以將六種不同基礎(chǔ)描述符的位姿估計結(jié)果平均提高25%。改進(jìn)后的描述符可以在大規(guī)模結(jié)構(gòu)從運(yùn)動恢復(fù)（SfM）重建中使用單視圖進(jìn)行圖像提取，因為最近鄰（MNN）匹配比數(shù)千對圖像運(yùn)行學(xué)習(xí)匹配器要快得多。