兽性总裁的爱奴,遮天,好看的历史书籍推荐

本文翻譯自《ACM技術洞察》科學雜志上的一篇文章：《Survey on Digital Video Stabilization: Concepts, Methods, and Challenges》，原文鏈接如下：

https://dl.acm.org/doi/pdf/10.1145/3494525

CSUR-IG是誰？

CSUR-IG是計算調研興趣小組 Computing SURveys Interest Group的縮寫。我們是ACM技術洞察研究團隊。我們是來自4個地方的同學：

1名深圳大學大三學生

2名中原工學院研一學生

1名安陽工學院大三學生

1名南通科技學院大三學生

我們在OpenHarmony成長計劃啃論文俱樂部里，與華為、軟通動力、鴻湖萬聯等公司一起，學習和研究操作系統技術…

1. 簡介

1.1 本文摘要

數字視頻穩定是一項具有挑戰性的任務，旨在通過平滑相機軌跡將可能不穩定的視頻轉換為令人愉快的視頻。

穩定可以借助硬件（穩定器）的方式實現，也可以通過軟件算法的方式實現。本文談的是后者。

盡管在解決這一任務的文獻中發現了各種作品，但它們的組織和分析尚未受到太多關注。在這項工作中，我們根據提議的分類法對視頻穩定的文獻進行了全面回顧。介紹了該問題的正式定義，以及物理術語的簡要解釋。我們還就這一活躍領域的主要挑戰和未來趨勢進行了全面討論。

1.2 數字視頻穩定的定義

數字視頻穩定就是通過平滑相機軌跡將可能不穩定的視頻轉換為令人愉快的視頻。視頻可以表示為一系列照片（幀）。

圖中，真實世界裁剪（白色）產生的照片和視頻（藍色）的表示。左：以矩形表示的照片。中間和右側：以音量表示的穩定和不穩定視頻。

數字視頻穩定就想解決不用設備（直接用手）的情況下，把視頻拍得好看，很有商業價值。

2. 正式定義和分類

2.1 相機運動方法

我拿著相機，可以前后左右走，舉高舉低（第一個圖），我拍特別角度，拿著相機轉（第二個圖），合起來就是復雜運動（第三個圖）。

2.2數字視頻穩定的一些方法

2.2.1 經典的方法（三步走）：

數字視頻穩定的典型過程涉及三個不同的步驟，如下圖所示：(1) 攝像機運動估計，(2) 不需要的運動確定，以及 (3) 穩定視圖渲染。

2.2.2 基于深度學習的方法：

深度學習的方法提出了深度神經網絡架構，以有監督或無監督的方式穩定視頻。

3.主要挑戰場景

3.1相機的估計運動

拍攝的過程中，人會帶著相機運動，拍攝的事物也會運動，組合起來就是表觀運動，也就是拍出來的東西。相機的估計運動就是通過表觀運動（拍出來的東西）估計出相機本身是怎么運動的。

相機運動估計技術地圖，主要講了估計出相機本身是怎么運動中2D（二維），3D（三維）和2.5D（混合方法）的一些處理方法，并且給出了相應的描述和優缺點比較：

表 1. 對數字視頻穩定中攝像機運動估計的進步做出貢獻的一些主要工作總結

3.2怎么確定不需要的運動

拍攝過程中因為不必要的抖動導致畫質不好，這種運動需要確定，就是確定不需要的運動。

不需要的運動確認技術地圖，主要講了為了去除的不需要的運動部分以獲得更平滑的路徑中基于過濾的方法，基于插值的方法，基于優化的方法，并且給出了相應的描述和優缺點比較：

表 2. 有助于推動數字視頻穩定中的無用運動確定的一些主要工作總結

3.3穩定視圖渲染

我們要處理一些丟失或者模糊的幀，也就是幀的修復。

穩定渲染的技術地圖，主要講了渲染穩定的幀中中基于填充的方法和基于裁剪的方法，并且給出了相應的描述和優缺點比較：

表 3. 推動數字視頻穩定渲染新視圖的一些主要工作總

4.基于深度學習的方法

基于深度學習的視頻穩定方法，大多數使用帶有配對視頻的數據集進行訓練，其中每一對都有一個不穩定的和一個真實穩定的視頻。在這種情況下，如下圖所示，目標是找到一個網絡，該網絡從不穩定版本中預測幀，使其與穩定版本盡可能相似。

圖中，基于深度學習的方法中常用的方法。不穩定的幀和一些時間信息提供給深度網絡，以在訓練/推理階段預測穩定/穩定的幀。

深度學習數字視頻穩定技術地圖，這種方法沒有明確地估計相機運動，但他們使用的是表觀運動。通常，不需要的運動的確定和移除是隱式完成的：網絡學習預測類似于真實穩定視頻的視頻，以下就是給出論文技術的盤點：

表 4. 基于深度神經網絡執行數字視頻穩定的方法總結

5.結論

5.1 過去的回顧

這項工作對數字視頻穩定文獻中可用的方法進行了回顧。我們根據使用的方法對方法進行分類，無論是經典的還是基于深度學習的。經典方法分為三個主要階段：（1）相機運動估計，（2）確定不需要的運動，以及（3）穩定幀的渲染。對于這些步驟中的每一個，我們定義并分類了這些方法。

5.2本文結論

一些實際應用可以受益于數字視頻穩定及其開發所產生的知識。
需要更好地定義使用這些方法的場景。
與其計算機視覺領域類似，深度學習已成為近年來視頻穩定的趨勢。
數字視頻穩定文獻中的關鍵點之一是還沒有明確定義的評估指標。

<本文完>

寫在最后

OpenHarmony 成長計劃—“啃論文俱樂部”（以下簡稱“啃論文俱樂部”）是在 2022年 1 月 11 日的一次日常活動中誕生的。截至 3 月 31 日，啃論文俱樂部已有 87 名師生和企業導師參與，目前共有十二個技術方向并行探索，每個方向都有專業的技術老師帶領同學們通過啃綜述論文制定技術地圖，按“降龍十八掌”的學習方法編排技術開發內容，并通過專業推廣培養高校開發者成為軟件技術學術級人才。

啃論文俱樂部的宗旨是希望同學們在開源活動中得到軟件技術能力提升、得到技術寫作能力提升、得到講解技術能力提升。大學一年級新生〇門檻參與，已有俱樂部來自多所高校的大一同學寫出高居榜首的技術文章。

如今，搜索“啃論文”，人們不禁想到、而且看到的都是我們——OpenHarmony 成長計劃—“啃論文俱樂部”的產出。