作者：泡椒味的口香糖

0. 筆者個人體會

特征匹配包括稀疏匹配和稠密匹配，這方面的深度模型這兩年很多了，效果也都很好。但是同時實現(xiàn)稀疏匹配和稠密匹配的通用模型還比較少，主要是因為聯(lián)合訓練會引入大量噪聲，模型架構(gòu)不好設計。而且相關的訓練數(shù)據(jù)不好找，直接把幾個數(shù)據(jù)集堆一起訓練又會出現(xiàn)各種各樣的域問題。

最近，浙大就開源了一項工作，以一個通用模型同時實現(xiàn)稀疏匹配和稠密匹配。筆者認為，這篇文章的意義不是提出了一個最新的匹配模型，而在于通用模型的設計+訓練思路。學習了這種思路，就可以將這種框架泛化到其他任務上。

1. 效果展示

浙大最新發(fā)布的RGM實現(xiàn)了一個通用模型，具體效果是同時實現(xiàn)稠密匹配和稀疏匹配。這里面的稠密匹配也就是光流匹配，還可以根據(jù)匹配關系投影RGB圖像做兩視角重建。

與其他SOTA方法相比，RGM估計的光流更細膩，邊緣更完整。

目前這篇文章已經(jīng)開放了github，但是暫時代碼還沒有開源，感興趣的小伙伴可以跟蹤一下。下面來看一下具體的論文信息。

2. 摘要

在一對圖像中尋找匹配的像素是具有各種應用的基本計算機視覺任務。由于光流估計和局部特征匹配等不同任務的特定要求，以前的工作主要分為稠密匹配和稀疏特征匹配，側(cè)重于特定的體系結(jié)構(gòu)和特定任務的數(shù)據(jù)集，這可能在一定程度上阻礙了特定模型的泛化性能。在本文中，我們提出了一個稀疏和稠密匹配的深度模型，稱為RGM (魯棒通用匹配)。特別地，我們精心設計了一個級聯(lián)的GRU模塊，通過在多個尺度上迭代地探索幾何相似性來進行細化，然后使用一個附加的不確定性估計模塊來進行稀疏化。為了縮小合成訓練樣本和真實世界場景之間的差距，我們通過以更大的間隔生成光流監(jiān)督，來構(gòu)建具有稀疏匹配真值的新的大規(guī)模數(shù)據(jù)集。因此，我們能夠混合各種稠密和稀疏匹配數(shù)據(jù)集，顯著提高訓練多樣性。通過在大規(guī)模混合數(shù)據(jù)上以兩階段的方式學習匹配和不確定性估計，我們提出的RGM的泛化能力得到了極大的提高。跨多個數(shù)據(jù)集的zero-shot匹配和下游幾何估計實現(xiàn)了卓越的性能，大大超過了以前的方法。

3. 算法解析

RGM這篇文章的目的是要設計一個統(tǒng)一的框架來同時實現(xiàn)稠密匹配和稀疏匹配，但本身兩個任務的特性不同，直接設計多任務網(wǎng)絡效果不好。所以作者的思想就很巧妙，先設計一個光流稠密匹配網(wǎng)絡，再緊跟一個稀疏化網(wǎng)絡。

整個Pipeline很直觀，可以分成特征提取、稠密匹配、稀疏化三個部分。首先將輸入圖像利用CNN和Transformer提取特征金字塔，然后使用級聯(lián)GRU的網(wǎng)絡進行稠密匹配，之后通過不確定性估計來過濾得到稀疏匹配，匹配結(jié)果就可以直接用于位姿估計、兩視角重建等下游任務。

這里面還有幾個細節(jié)需要注意：

1、為什么要提取特征金字塔，而不是使用某個特征層？

雖然感受野更大，但在1/8分辨率下會損失很多細節(jié)。作者這里使用的是{1/8，1/4，1/2}分辨率的三層金字塔，其中前兩層使用Swin-Transformer的自我注意和交叉注意進行特征增強。

2、這個GRU模塊是啥？

這里也是一個trick，就是不在每個尺度上都建立圖像對的關聯(lián)，而在金字塔的兩個底層建立局部關聯(lián)。對于1/8的低分辨率層執(zhí)行點積運算:

其中Fr和Ft是特征金字塔，D是維度。然后再用平均池化作為RAFT來構(gòu)建相關金字塔，給定當前的光流估計f和半徑r，就可以構(gòu)建兩個高分辨率的特征融合計算：

給定相關性和上下文信息，就可以估計運動信息并將其饋送給GRU優(yōu)化光流殘差，然后迭代得優(yōu)化光流：

3、稀疏化如何實現(xiàn)？

在獲得稠密匹配之后，可以直接凍結(jié)匹配網(wǎng)絡并開始稀疏化。根據(jù)估計出的光流可以warp特征圖和RGB圖計算差異。然后將差值送給CNN計算損失，具體是根據(jù)mask真值計算的二進制交叉熵：

4、為什么要解耦訓練？

具體訓練過程是先訓練匹配網(wǎng)絡，然后凍結(jié)這部分，再單獨訓練稀疏化網(wǎng)絡。作者認為直接聯(lián)合訓練的話，會引入大量噪聲，導致光流預測不準確。

4. 實驗

RGM的訓練分匹配學習+不確定學習兩階段進行，也就是所謂的解耦訓練。

在匹配學習階段，首先使用帶稀疏匹配真值的MegaDepth（1.4 M對圖像）來訓練（200k次迭代），然后使用ScanNet+FlyingThings3D+TartanAir+MegaDepth的混合數(shù)據(jù)集（4 M對圖像）進行增強學習（240k次迭代）。Batch size為16，學習率從2e-4余弦退火至1e-5。在不確定學習階段，直接凍結(jié)稠密匹配網(wǎng)絡的參數(shù)。在MegaDepth和ScanNet上訓練了2個epoch，batch size為4，學習率固定1e-4。注意，為了平衡不同數(shù)據(jù)集之間的差異，還對TartanAir進行了大間距采樣。

評估也是一個零樣本泛化實驗。匹配估計使用ETH3D+HPatches+KITTI+TUM數(shù)據(jù)集，位姿估計（下游任務）使用TUM+YFCC數(shù)據(jù)集，光流估計使用Sintel數(shù)據(jù)集。

首先是解耦訓練和聯(lián)合訓練的對比，證明他們做提出的解耦訓練是有效的。看到這里筆者也有個疑問，有的模型是聯(lián)合訓練效果更好，有的模型卻是解耦訓練更好，希望有小伙伴能傳授一下經(jīng)驗。

訓練使用數(shù)據(jù)集的對比，顯然使用的數(shù)據(jù)集越多效果越好。

特征匹配最直觀的定性對比，相同顏色代表預測的匹配關系。相較于之前的SOTA方法可以取得更多的匹配關系，而且語義預測也更好（大部分匹配關系都集中在摩托車和人上）。

光流估計的對比，也是一個zero-shot實驗。對比方案包括光流專用模型、稠密幾何估計方法，還有通用匹配模型，RDM效果最優(yōu)。這里也推薦「3D視覺工坊」新課程如何學習相機模型與標定？（代碼+實戰(zhàn)）》。

最后是一個在TUM和YFCC上進行位姿估計的zero-shot評估，也是匹配性能的進一步驗證。

5. 總結(jié)

一句話總結(jié)：RGM以一個通用模型同時實現(xiàn)了稀疏和稠密匹配。具體創(chuàng)新點是級聯(lián)GRU細化模塊+用于稀疏化的不確定性估計模塊+解耦訓練機制。除了評估特征匹配的精度，作者還做了很多下游任務的評估，比如位姿估計、兩視角重建。感覺這篇文章還在審稿中，后續(xù)應該會上傳新版本的文章和代碼。

審核編輯：黃飛