光流估計是計算機(jī)視覺研究中的一個重要方向，其不像其他感知任務(wù)會顯式的在應(yīng)用中呈現(xiàn)。如今，光流估計也在基于視頻的任務(wù)中承擔(dān)著越來越重要的作用。

光流的基本概念

光流（Optical Flow）是一個有關(guān)物體運(yùn)動的概念。最早由Gibson提出，描述的是空間中運(yùn)動的物體在成像平面上，造成像素運(yùn)動的瞬時速度。主要由以下三類組成：

場景中前景目標(biāo)本身在移動

成像平面在移動（比如，相機(jī)）

或者兩者共同運(yùn)動而所產(chǎn)生的混合動作

光流是在一系列連續(xù)變化的圖像中產(chǎn)生類似光“流動”的效果，故簡稱為光流。光流是一個有方向、有長度的矢量，光流估計的目的就是根據(jù)2個連續(xù)的幀來求解對應(yīng)像素的運(yùn)動速度（或偏移量）。根據(jù)是否選取圖像稀疏點進(jìn)行光流估計，可以將光流估計分為稀疏光流和稠密光流，demo如下所示： ? ? OpenCV也集成了相應(yīng)的算法接口，稀疏光流cv2.calcOpticalFlowPyrLK()和稠密光流cv2.calcOpticalFlowFarneback()，其中稀疏光流估計算法是最經(jīng)典的Lucas-Kanade算法，在此不再贅述。

FlowNet

首篇基于深度學(xué)習(xí)的光流估計算法FlowNet，收錄于ICCV2015。FlowNet構(gòu)建了能夠?qū)⒐饬鞴烙媶栴}作為監(jiān)督學(xué)習(xí)任務(wù)來解決的CNN。提出并比較了兩種架構(gòu)，一種通用架構(gòu)，另一種包括在不同圖像位置關(guān)聯(lián)特征向量的層。由于缺乏相關(guān)標(biāo)注數(shù)據(jù)集，F(xiàn)lowNet還生成了一個大型合成 Flying Chairs數(shù)據(jù)集。實驗結(jié)果表明，在合成數(shù)據(jù)集上訓(xùn)練的模型可以很好的推廣到現(xiàn)實場景，如 Sintel 和 KITTI，在 5 到 10 fps的幀率下實現(xiàn)具有不錯的性能。

FlowNet的輸入為待估計光流的兩張圖像，輸出即為圖像每個像素點的光流。光流的評價指標(biāo)或損失函數(shù)EPE(End-Point-Error)，定義為預(yù)測的每個像素的光流（2維向量）和groundtruth之間的歐式距離。 對于訓(xùn)練數(shù)據(jù)集，人工標(biāo)注光流真值幾乎不可能。因此，作者設(shè)計了一種生成的方式，得到包括大量樣本的訓(xùn)練數(shù)據(jù)集FlyingChairs。其生成方式為對圖像做仿射變換生成對應(yīng)的圖像。為了模擬圖像中存在多種運(yùn)動，比如相機(jī)在移動，同時圖像中的人或物體也在移動。作者將虛擬的椅子疊加到背景圖像中，并且背景圖和椅子使用不同的仿射變換得到對應(yīng)的另一張圖，如下圖所示：

FlowNetSimple

FlowNet提出的通用架構(gòu)為FlowNetSimple，即將兩個輸入圖像堆疊在一起，并通過一個通用的網(wǎng)絡(luò)將其輸入，從而使網(wǎng)絡(luò)可以自行決定如何處理圖像對以提取運(yùn)動信息。這種僅包含卷積層的架構(gòu)為“FlowNetSimple”，而refinement部分，與Unet解碼器類似，但是又有獨(dú)特的光流模型的特性，如下圖所示。

FlowNetCorr

和simple版本的區(qū)別在于：先對圖片做了相同的特征處理，類似于孿生網(wǎng)絡(luò)，然后對于提取的兩個特征圖，做論文中提出的叫做correlation處理，融合成一個特征圖，然后再做類似于simple版本的后續(xù)處理。 FlowNet的實驗結(jié)果在15年還是比較不錯的，與傳統(tǒng)方法互有優(yōu)劣。

FlowNet 2.0

FlowNet證明了光流估計可以作為一個學(xué)習(xí)問題。然而，關(guān)于光流質(zhì)量的現(xiàn)有技術(shù)仍然由傳統(tǒng)方法定義。特別是在小位移和真實世界數(shù)據(jù)上，F(xiàn)lowNet與傳統(tǒng)算法還有一定差距。FlowNet 2.0進(jìn)一步提升了算法的速度和光流質(zhì)量。首先，F(xiàn)lowNet 2.0增加了訓(xùn)練數(shù)據(jù)，并使用更復(fù)雜的訓(xùn)練策略提升性能。其次，利用堆疊結(jié)構(gòu)對預(yù)測結(jié)果進(jìn)行多級提升，最后針對小位移的情況引入特定的子網(wǎng)絡(luò)進(jìn)行處理。FlowNet 2.0犧牲了一點運(yùn)行速度，卻降低了50%以上的誤差。在各個公開數(shù)據(jù)集上，精度已經(jīng)追平了目前最好的一些傳統(tǒng)算法。同時，在速度上依然保持著高效快速的優(yōu)勢。

此外，F(xiàn)lowNet 2.0提出了更快的網(wǎng)絡(luò)結(jié)構(gòu)，速度高達(dá)140fps，并且精度與原始FlowNet相當(dāng)。

PWC-Net

CVPR2018收錄的PWC-Net。PWC-Net根據(jù)金字塔式處理；基于上一層習(xí)得的光流偏移下一層特征，逐層學(xué)習(xí)下一層細(xì)部光流（warping）和設(shè)計代價容量函數(shù)（cost volume)實現(xiàn)了比FlowNet 2.0小17倍的網(wǎng)絡(luò)，更容易訓(xùn)練，性能也更好。在 Sintel分辨率 (1024×436) 圖像上以約 35 fps 的速度運(yùn)行。

特征金字塔提取器：給定兩個輸入圖像I1和I2，生成特征表示的l級金字塔，底部（0）級是輸入圖像。為了在第l層生成特征表示，使用卷積層對第1?1金字塔層的特征進(jìn)行降采樣。從第一層到第六級，特征通道的數(shù)量分別為16、32、64、96、128和196。 warp層：在l層上，是要warp第二張圖到第一張上，l+1層上采樣到l層，本文使用雙線性插值來實現(xiàn)warp操作，并計算相應(yīng)梯度。 Cost volume layer：接下來，使用這些特征構(gòu)造一個cost volume，存儲下一幀像素與其相應(yīng)像素關(guān)聯(lián)的匹配cost volume。

LiteFlowNet2

TPAMI2020！港中文湯曉鷗團(tuán)隊~ FlowNet2需要超過 160M 的參數(shù)才能實現(xiàn)準(zhǔn)確的流量估計。LiteFlowNet2的模型尺寸小30倍，運(yùn)行速度快1.36倍，且性能更好。FlowNet2希望在傳統(tǒng)光流估計算法和輕量級光流CNN中已經(jīng)建立的認(rèn)知之間搭建對應(yīng)的關(guān)系；從早期工作成果LiteFlowNet發(fā)展而來的輕量級卷積網(wǎng)絡(luò)LiteFlowNet2，通過提高流場精度和計算時間更好地解決光流估計問題。主要貢獻(xiàn)有如下幾點：

輕量級級聯(lián)式流場推理：提高了光流估計的準(zhǔn)確性，允許網(wǎng)絡(luò)無縫地結(jié)合描述子匹配；

新穎的流場正則化層：級聯(lián)流量推理類似于傳統(tǒng)最小化方法中數(shù)據(jù)保真度的作用。為了解決流場中模糊的流場邊界和偽像問題，文章建議使用由特征驅(qū)動的局部卷積f-lconv對級聯(lián)式流場推理的光流場進(jìn)行規(guī)范化。

引入f-warp層：從前一級別的流場估計將F2向F1變形來構(gòu)建成本量之前減少F1和F2之間的特征空間距離，即Feature Warping。

在Sintel和KITTI基準(zhǔn)測試集上性能超過了SOTA方法FlowNet2，并且模型尺寸縮小25.3倍，推理速度快3.1倍。GTX1080顯卡上的光流估計幀率達(dá)到25。

IRR

CVPR2019收錄的Iterative Residual Refinement for Joint Optical Flow and Occlusion Estimation 上述算法的共同特征都是從初始光流由粗到細(xì)進(jìn)行Flow推斷。雖然精度高，但是參數(shù)量也隨之增加。IRR從經(jīng)典的能量最小化方法和殘差網(wǎng)絡(luò)中汲取靈感，提出一種基于權(quán)重共享的迭代殘差細(xì)化方法，IRR可以與多個主干網(wǎng)絡(luò)結(jié)合。減少了參數(shù)量的同時，提高了準(zhǔn)確性。此外集成了遮擋預(yù)測和雙向流估計后。IRR可以進(jìn)一步提升性能。

性能和網(wǎng)絡(luò)參數(shù)量對比圖如下：

MaskFlownet

特征扭曲是光流估計的核心技術(shù)，然而扭曲過程中由遮擋區(qū)域引起的模糊性是一個尚未解決的主要問題。圖像扭曲導(dǎo)致遮擋區(qū)域的模糊，在特征扭曲過程中也存在同樣的問題，這些區(qū)域可以在沒有任何明確監(jiān)督的情況下被掩蓋。因此，MaskFlownet應(yīng)運(yùn)而生，主要貢獻(xiàn)如下：

MaskFlownet提出了一個非對稱遮擋感知特征匹配模塊，用于學(xué)習(xí)一個粗糙的遮擋掩碼，在沒有任何顯式監(jiān)督的情況下，在特征扭曲后立即過濾無用（遮擋）區(qū)域；

模塊可以很容易地集成到端到端網(wǎng)絡(luò)架構(gòu)中，計算量可忽略同時提升性能。學(xué)習(xí)到的遮擋掩碼可以進(jìn)一步輸入到具有雙特征金字塔的后續(xù)網(wǎng)絡(luò)級聯(lián)中，從而達(dá)到SOTA；

RAFT

ECCV 2020 best paper！ 光流法需要估計視頻幀中每個像素的運(yùn)動，在計算機(jī)視覺中這是一個還未被攻克的難題，常見的問題有快速移動的小物體，物體之間的遮擋，運(yùn)動模糊和存在無紋理區(qū)域等問題。傳統(tǒng)的光流法常被認(rèn)為是一種手工設(shè)計的優(yōu)化方法，近年來一些基于深度學(xué)習(xí)的方法開始有了替代傳統(tǒng)方法的趨勢。下面介紹一種新的基于深度學(xué)習(xí)來估計光流的方法——Recurrent All-Pairs Field Transformers(RAFT)。它有以下優(yōu)勢：

state-of-the-art: 在KITTI上RAFT達(dá)到了目前最高的準(zhǔn)確率。

有很強(qiáng)的泛化性，當(dāng)只在生成的數(shù)據(jù)集上訓(xùn)練時RAFT也能有很好的效果。

高效，在1080Ti上能夠以10幀每秒運(yùn)行1088×436像素的圖像。

RAFT由以下三部分構(gòu)成： 1）一個特征編碼器來用來從像素中提取特征：特征圖的大小是原始分辨率的1/8； 2）一個correlation層用來建模圖像上任意兩個點之間的相似度； 3）一個基于門控循環(huán)網(wǎng)絡(luò)GRU的更新結(jié)構(gòu)用來迭代的更新最后生成的光流圖。 實驗結(jié)果如下：

GMA

ICCV2021 收錄的Learning to Estimate Hidden Motions with Global Motion Aggregation GMA著重解決光流估計中被遮擋點的光流估計問題。GMA定義的遮擋點是在當(dāng)前幀中可見但在下一幀中不可見的點。以前的工作依賴CNN來學(xué)習(xí)遮擋，但收效不大，或者需要多幀并使用時間平滑度來推理遮擋。GMA通過對圖像自相似性進(jìn)行建模，來更好地解決遮擋問題。GMA引入了全局運(yùn)動聚合模塊，這是一種基于transformer的方法，用于查找第一張圖像中像素之間的遠(yuǎn)程依賴關(guān)系，并對相應(yīng)的運(yùn)動特征進(jìn)行全局聚合。GMA在不損害非遮擋區(qū)域的性能的情況下，可以顯著改善遮擋區(qū)域中的光流估計。具體的解決方案如下：

兩幀之間的運(yùn)動信息，可以通過計算cost volume的匹配信息進(jìn)行估計

當(dāng)沒有匹配信息時，基于這樣一個假設(shè)，單個物體（在前景或背景中）的運(yùn)動通常是均勻的，運(yùn)動信息必須從其他像素開始傳播

同時，對于每個像素理解他屬于哪個對象。也就是說，非被遮擋的自相似點的運(yùn)動信息可以傳播到被遮擋的點。

CNN不適合做全局運(yùn)動估計，因為CNN是局部的，transformer更適合做全局估計。

GMA在Sintel 數(shù)據(jù)集上取得了新SOTA，實驗結(jié)果如下：

編輯：黃飛

?