在 RTC 2018 實時互聯(lián)網(wǎng)大會上，Visionular Inc 聯(lián)合創(chuàng)始人兼首席科學(xué)家 Zoe Liu 進行了主題演講，與大家一起分享了一場視頻編解碼的前沿探索。

1

WhyVideo Codec Matters？

大家都知道，從技術(shù)復(fù)雜度來講，視頻的編碼和解碼并不對稱，編碼器要比解碼器復(fù)雜很多。那么，機器學(xué)習(xí)對編碼可以做哪些優(yōu)化呢？

大家目前討論的比較多的是3個編碼標(biāo)準(zhǔn)：一個是 MPEG 組織的，一個是從 VP9 到 AV1 的開源、免除版權(quán)稅的，另外一個是我們自己在國內(nèi)研發(fā)的從 AVS 到 AVS2、AVS3 系列。

編碼的標(biāo)準(zhǔn)日新月異，一直在向前發(fā)展。而大家都會問，為什么視頻編碼那么重要？

以 JPEG 為例，它是一個圖像標(biāo)準(zhǔn)，經(jīng)歷了幾十年的發(fā)展。那么為什么幾十年來 JPEG 沒有被打敗，反而被廣為應(yīng)用呢？很大程度上受益于它的廣泛的商業(yè)用途和易實現(xiàn)性。接下來，我希望通過下圖，和大家解釋為什么視頻編解碼這么重要。

2013 年時，為了取代 H.264 編碼器，谷歌推出了 VP9。海外用戶看 YouTube，一般是兩類手機，Android上看到的是 VP9 的碼流。由于 Apple 不支持 VP9 硬件解碼，因此 iPhone 用戶看到的是 H.264 碼流。

谷歌曾做過一個統(tǒng)計，對比了世界范圍內(nèi)（不包含中國）， VP9 和 H.264 的播放時長。從上圖中我們可以看到，在印度、非洲等網(wǎng)絡(luò)帶寬不佳的市場，由于 VP9 的應(yīng)用，大大優(yōu)化了用戶體驗，首屏?xí)r間大幅縮短，并且卡頓大幅減少。

與此同時，采用新一代 codec 的應(yīng)用，帶來了用戶體驗的提升和新業(yè)務(wù)推進的可能性，這正印證了 Video codec的重要性。

在編碼器中，不論是 HEVC 或 AV1，都有 partition 的概念。熟悉編碼的朋友都知道，HEVC 和 AV1 中都有一個四叉樹的 partition。

比如，它的 superblock 在 AV1 中的大小是 128*128，它可以繼續(xù)向下做四叉樹的劃分，每個 128*128 的圖像塊可以分成 4 個 64*64，每個 64*64 又可以分成 4 個 32*32。以此類推，例如在 AV1 中可以分解到最小為 4*4 的圖像塊。

對于圖像宏塊而言，要做出一個 partition 的 map。統(tǒng)計表明，Video encoder 端 partition RDO 評估的計算會占到編碼器復(fù)雜度的 80% 以上。

那么此時如何利用機器學(xué)習(xí)來嘗試做優(yōu)化呢？

如上圖所示，第一行四張圖是幀內(nèi)壓縮，第二行四張圖是幀間壓縮的實例。它展示了對于不同的圖像塊需要有不同的 partition。

原因就在于，每個圖像塊內(nèi)容不同。對于幀內(nèi)壓縮，細節(jié)、紋理越多的地方，分塊就越細致。對于幀間壓縮，主要是對殘差分塊，主要是要看幀間的預(yù)測是如何進行的。從這個角度來講，分塊本身是由內(nèi)容和預(yù)測模式?jīng)Q定的。

那么，對任一圖像塊，我們可以在內(nèi)容上提取一定的 feature。大家都知道，當(dāng) QP 取值比較大時，即失真度比較高時，整塊的內(nèi)容就趨于平滑，那就會選擇比較大一些的分塊。QP 比較小時，會選擇比較細致的分塊。從這些方面可以看出，從塊的角度，在 partition 的情況下，可以從內(nèi)容、編碼模式中提取相應(yīng)的 feature，通過離線訓(xùn)練可以從機器學(xué)習(xí)中獲得決策結(jié)果。

上圖中這篇論文是北航的徐邁老師與他的學(xué)生們所做的一項工作。他們基于神經(jīng)網(wǎng)（這里主要用卷積神經(jīng)網(wǎng)）做出的對 partition 的基本分類。

在真正做 partition 時，一般的做法是分級進行的，比如塊的大小是 64*64，此時需決策是否要往下走，做 4 個 32*32，到 32 再往下做決策是否繼續(xù)劃分，即決策是一層一層向下推進的。

這篇論文做了一個初步的嘗試，經(jīng)過神經(jīng)網(wǎng)的訓(xùn)練學(xué)習(xí)，輸出的是圖像塊最終的完整的劃分結(jié)果，將多級的決策結(jié)果一次性輸出為最終的劃分圖。這種方法的優(yōu)勢在于，能夠最大限度地降低神經(jīng)網(wǎng)本身帶來的復(fù)雜度，一次性導(dǎo)出結(jié)果。

另外，它在采用卷積神經(jīng)網(wǎng)絡(luò)決策的過程中，包含了 early termination 的決策。因為當(dāng)網(wǎng)路深度和每層節(jié)點數(shù)增加的情況下，神經(jīng)網(wǎng)本身也會引入一些新的復(fù)雜度。這篇論文的結(jié)果是跟 HM 比對的，在 encoder 端的速度大約提升了 50%。

AV1 是開放的標(biāo)準(zhǔn)，是一個開源的 codec。我們和谷歌合作一起貢獻了 libaom 開源代碼。上圖是我們的截屏。由于采用了機器學(xué)習(xí)的方法，使得 encoder 進一步優(yōu)化。

從圖中可以看到，這個 CL 中不是深度學(xué)習(xí)，而是采用了一個非常簡捷的神經(jīng)網(wǎng)。一般 CL 中的神經(jīng)網(wǎng)構(gòu)造是一層到兩層，每一層的節(jié)點在 128 個左右。所以這里并不是深度學(xué)習(xí)，是采用了一個比較簡捷的網(wǎng)絡(luò)結(jié)構(gòu)。

以往在優(yōu)化編碼器時，常常采用 empirical 的想法，即做 partition 時，從一級、二級到三級，可以提取當(dāng)前 block 層的方差，也可以將當(dāng)前的 block 一分為四，提取每一個 subblock 的方差，對其進行一些分析，然后做出決策，給出 hard-coded 閾值。當(dāng)塊參數(shù)的大小低于某個閾值或高于某個閾值時，繼續(xù)往下做 partition。所有這些決策可以用神經(jīng)網(wǎng)代替，因為此時可以通過積累大量數(shù)據(jù)對一個簡單的網(wǎng)絡(luò)進行訓(xùn)練，同時再用這個網(wǎng)絡(luò)生成決策，判斷是否需要四叉樹繼續(xù)下分。

從上圖可以看出，用一個簡單的神經(jīng)網(wǎng)就可以把 encoder 速度提升 10 - 20%。所以，我們在采用機器學(xué)習(xí)的方法時，不一定是深度學(xué)習(xí)，因為神經(jīng)網(wǎng)的概念已經(jīng)存在很久了，主要是用大數(shù)據(jù)做訓(xùn)練，從數(shù)據(jù)集中設(shè)計網(wǎng)絡(luò)，對相對復(fù)雜的非線性關(guān)系建模，從而使得 encoder 的速度以及編碼效率進一步提升。

2

ML to Coding Performance

AV1 是一個實例，它采用了神經(jīng)網(wǎng)絡(luò)、機器學(xué)習(xí)的概念，使得 encoder 進一步提速。使得用神經(jīng)網(wǎng)代替經(jīng)驗決策。

那么，神經(jīng)網(wǎng)是不是可以幫助我們對視頻壓縮做壓縮性能提升？下面，我舉三個例子，分享一下我們從哪些方面可以把神經(jīng)網(wǎng)和深度學(xué)習(xí)用在編碼性能提升上。

第一個，是從超分的概念來分享。大家都知道，壓縮造成了信息丟失。信息丟失以后我們希望在解碼端或者編碼端的 inloop 過程中，重建丟失的信息。如果我們可以做到，就可以達到編碼性能的進一步提升。因為壓縮是一體兩制，或在一定碼率下提升畫質(zhì)，或在一定畫質(zhì)下節(jié)省碼率。如果可以在一定的碼率下重建失去的信息，就可以進一步提升畫質(zhì)，之后可以進一步節(jié)省碼率，通過畫質(zhì)提升將降碼率后失真圖像的質(zhì)量還原到原來碼率的畫質(zhì)水平。

AV1 中采用了更多的工具，從而使其可以比已有編碼標(biāo)準(zhǔn)，比如 HEVC 有進一步的提高。其中一個工具稱作 restoration，里面提供兩個濾波器，一個是 Wiener filter，一個是 Self-guided projected filters，僅這一個工具的 BDRate 性能提升在 1 - 1.5% 之間。

如上方右圖所示，它是一個 restoration 的描述。那么它是如何把信息恢復(fù)出來的呢？我們可以想象，任何一個像素點是多維空間的一點，那么一個小時的視頻一定有 n 個圖像幀，每個幀里有 m 個像素點。如果把每個點都想象成一維的話，任何一個視頻實際上是高維空間中的一點。做這種想象以后，上方圖右側(cè)的 Xs 就是原始的視頻，經(jīng)過壓縮，就得到了高維空間中的另一點，如果這兩點重合，就是 lossless coding 的過程。這兩點在高維空間中距離越遠，失真度就越大。重建的過程就是力圖將壓縮后的X那一點帶回來與原來的點越來越近的過程。

AV1 中有一個 guided filter 的概念，通過這個 filter 可以從解壓以后的 X，恢復(fù)成 X1、X2 兩點，也就是得到兩個濾波器的結(jié)果。做完后發(fā)現(xiàn)，這兩點離原來那點還是差得非常遠。那么 AV1 進一步通過 X1、X2 建立一個平面，把原有的視頻所對應(yīng)的點，在現(xiàn)在這個平面上做投影?？梢钥吹酵队耙院笏命c就離原點近了很多，這就是一個重建的過程。

最終 AV1 只要求在碼流中傳遞兩個參數(shù) α 和 β，需要高精度傳輸過去，在解碼端用同樣的 restoration 就可以恢復(fù)出比較高質(zhì)量的圖像。從這點可以看出，這一個工具就可以達到 BDRate 的 1% 以上的提升，我們可以用學(xué)習(xí)的概念得到更好的圖像復(fù)原，所以很自然而然就想到超分方法的運用。

現(xiàn)在，超分辨率在機器學(xué)習(xí)中已經(jīng)得到廣泛應(yīng)用。壓縮以后的圖像，通過學(xué)習(xí)可以重建出一個更高質(zhì)量的圖像，利用這個圖像可以在我們現(xiàn)有的編碼結(jié)構(gòu)中加以運用，從而達到更好的 coding performance。

這是我們和杭師大的丁丹丹老師合寫的一篇論文，主要探索重建圖像。可以在四方面加以應(yīng)用：第一，插值濾波；第二，In loop filter；第三，可以通過利用多個參考幀，重現(xiàn)出一個更清晰的參考幀；第四，Out loop post-processing filter。

這些都是從學(xué)習(xí)的角度，利用已知的參考幀重建出更高清晰更高質(zhì)量的參考幀。或者是利用插值濾波，因為插值的獲取也等價于重建出一些原有的信息。從我們訓(xùn)練集數(shù)據(jù)中得到的信息，存儲到神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以及其相應(yīng)的參數(shù)中，再加上已有的視頻數(shù)據(jù)得到重建的信息，利用重建信息幫助我們提升編碼的性能。

上圖是進一步的一個例子，包括前向幀和后向幀在時空上進行的聯(lián)合重建。

最后重建的結(jié)果是一個超分辨率圖像。同樣的碼率，在解碼端可以運用該技術(shù)使得視頻質(zhì)量得到進一步提升。視頻在用多幀分辨率做重建的過程中，由于每幀的視頻中有一個運動矢量的概念，所以這篇論文最主要的貢獻，是在原有方法的基礎(chǔ)上做了一個像素對齊，這是視頻相對于圖像在處理上比較特別的地方。

徐邁老師的另外一個工作，也是利用學(xué)習(xí)恢復(fù)在編碼過程中失去的信息，不過不是提高分辨率，而是提高圖像的質(zhì)量，去除編碼后圖像的 artifacts。

我們在編碼解碼過程中會發(fā)現(xiàn)，每一幀的質(zhì)量有波動，任何一個圖像幀由于 QP 的不同，每幀質(zhì)量會不同，有些幀的質(zhì)量比較好，比如我們通常說的 Key frame，這篇論文中把這樣的幀叫做 PQF。

如果我們可以把 PQF 的幀識別出來，用學(xué)習(xí)的辦法把質(zhì)量比較差的幀的質(zhì)量彌補、提升，這樣不僅可以提高原本質(zhì)量差的幀的質(zhì)量，更可以優(yōu)化序列中各幀的質(zhì)量到更高的水平。

視頻幀與幀間的質(zhì)量保持平穩(wěn)是比較關(guān)鍵的。舉一個例子，做針灸的時候要扎很多針，如果每一針的力度相差不多，患者會覺得ok。如果突然一針的力度很大，人就會記住那一針的感覺。而人眼觀看視頻也是一樣的。

首先第一個工作就是識別視頻中哪些幀質(zhì)量比較高，因為此時解碼端的原視頻是不可得的。這個工作主要利用類似無參考圖像質(zhì)量評價（noreferenceimagequality assessment）的方法來進行。在沒有原視頻的基礎(chǔ)上，有一項研究是無參考質(zhì)量評估，這篇論文借鑒于那個領(lǐng)域的工作。

第一步，從每一幀里提取 36 個 feature，5 個連續(xù)幀提取一共 180 個 feature 做訓(xùn)練。這里采用的是支持向量機方法作聚類，經(jīng)過訓(xùn)練識別幀的質(zhì)量。

第二步，判斷出比較好的幀以后，利用神經(jīng)網(wǎng)絡(luò)來提升質(zhì)量差幀的圖像質(zhì)量。先做運動補償，即：找到質(zhì)量比較低的幀，及其前后質(zhì)量比較高的兩幀（PQF），三幀之間做像素級的運動估計的過程。做完運動估計和運動補償之后，再做質(zhì)量提升。

大家都知道，在神經(jīng)網(wǎng)訓(xùn)練的過程中我們需要 ground truth，motion vector 很難獲取 ground truth，所以這里不是要去訓(xùn)練 motion vector，而是得到的重建幀和原有的幀之間能達到差異最小值，來訓(xùn)練神經(jīng)網(wǎng)。這個神經(jīng)網(wǎng)有兩個部分，MC-subnet 和 quality enhancement subnet，對構(gòu)成的MSE函數(shù)實現(xiàn)最小化，進而用訓(xùn)練出的神經(jīng)網(wǎng)去重建質(zhì)量比較低的圖像幀，最終達到整體視頻質(zhì)量的一致性。

第三個工作也是用深度學(xué)習(xí)對視頻編碼效率的提高，它的想法是這樣的，人眼看視頻，會對某些區(qū)域比較敏感，對某些區(qū)域沒那么敏感。

譬如我們看足球比賽，會對球的質(zhì)量比較敏感，對草地的失真不那么敏感。不同的區(qū)域人眼的敏感度不同，那么那些區(qū)域我就可以不做壓縮和傳輸，即在 encoder 端進行分析，識別出這些區(qū)域，在 decoder 端再進行合成，編碼、解碼的工作就是分析加合成的過程。

由于其中有內(nèi)容的分析，而機器學(xué)習(xí)在這方面有比較大的優(yōu)勢，所以這個工作就是用學(xué)習(xí)的辦法把每幀圖像分割成兩個區(qū)域，一部分區(qū)域是人眼不敏感的，另一部分區(qū)域就保留下來，對于那些保留下來的區(qū)域可以用傳統(tǒng)的（比如 AV1 的辦法）進行壓縮，對于那些容錯性比較大的區(qū)域，可以去合成。

我們的具體工作中，實際上是用 AV1 的 global motion 概念，首先識別這些區(qū)域相應(yīng)的全局運動矢量，最終用參考幀和全局運動矢量重建在編碼端省去的區(qū)域，等同于通過 motion warp 的方法來代替、合成某些區(qū)域。這個工作的神經(jīng)網(wǎng)絡(luò)主要用于前處理，分割圖像。在編碼的過程中，由于運用了 AV1 里的 global motion 工具，所以最終這個工作是 AV1 aligned 的編碼過程。

右圖是圖像分割的實驗結(jié)果，哪些是 texture 比較復(fù)雜的區(qū)域，哪些是人眼比較敏感的區(qū)域。在這個工作中我們發(fā)現(xiàn)，把一幀圖像劃分為兩個區(qū)域- 紋理區(qū)和非紋理區(qū)，然后對紋理區(qū)做 warping 合成，效果相對比較好。

視頻相比圖像，由于引入了 temporal 這個第三維時間軸，如果每一幀做 motion warping，出來后幀與幀間效果不一致，那么人眼就很容易看到差別，主觀感知效果比較差。

舉個簡單的例子，以前我們在做實時通信（比如 Facetime），在手機上，手機有兩個 CPU 核，自然而然會想到并行。比如 H.264，可以采用編碼器端 slice 并行的概念，每一個圖像幀會分成上面一個 slice 和下面一個 slice。

譬如一幀圖像一共 22 行，你可以對上下 11 行進行單獨編碼。但是在 QP 比較大，碼率比較低的情況下，由于上下兩個 slice 的獨立編碼，失真結(jié)果差異比較大，這樣編出來的視頻中間會有一條線被觀測到。如果單獨看每一幀，是看不到那條線的，但是如果播放視頻，那條線就顯現(xiàn)出來了。這就是視頻和圖像不一樣的地方，有一個幀間 consistent 的問題。

我們當(dāng)時分析，出現(xiàn)中間這條線，主要是兩個 slice 的劃分過于一致，每幀都是上面一半下面一半，過于齊整了。一個處理辦法，是讓上下兩個 slice 的行數(shù)近似但又不完全固定，這樣使得每一個 CPU 核的計算量基本等同，達到并行的目的，但同時引入了一個 random variable(隨機變量)，讓上下兩個 slice 的行數(shù)會稍有不同，而且不同的行數(shù)幀與幀之間是隨機變換的，那條線就看不到了。

這個實例是進一步說明，在處理視頻的時候，必須要考慮到視頻播放在時間連續(xù)上的感知效果。這是視頻相對圖像在主觀質(zhì)量評估上，一個比較大的挑戰(zhàn)。因此，我們在用視頻紋理分析與合成提升視頻壓縮性能的方法中，并不是對每一幀都去做 motion warping，而是利用編碼器中所采用的hierarchical結(jié)構(gòu)，只對位于這個結(jié)構(gòu)中最上面一層的圖像幀（或者簡單來講，只針對B幀）采用warping的辦法。這樣所得到的視頻其感知效果相對比較理想。

3

ML to Perceptual Coding

機器學(xué)習(xí)還可以用在視覺感知編碼（perceptual coding）。我們做視頻編碼器的都有質(zhì)量評估標(biāo)準(zhǔn)。質(zhì)量評估是大概經(jīng)歷了三代的變遷：

第一代，更多的是采用 PSNR。信號在丟失的過程中，一般評測都是想知道信息到底丟失了多少，所以用 PSNR 來衡量。

第二代，當(dāng)我們衡量視頻質(zhì)量時，想到視頻是給人眼看的，人眼不敏感的區(qū)域就不需要花很大的力氣，即使失真再大，人眼感知不到即可。所以視頻編碼的評測標(biāo)準(zhǔn)發(fā)展為用那些可以跟人的主觀視覺更加匹配的指標(biāo)去衡量。

第三代，隨著機器學(xué)習(xí)或人工智能的發(fā)展，很多時候，比如大量的監(jiān)控視頻不再是給人眼看的，而是為機器分析所用。

舉個例子，我們的編碼一般來講是一個低通的過程，通常人眼對低頻的信號會更敏感，不管是 JPEG、MPEG 還是 AV1，當(dāng)我們對塊做碼率分配的時候，之所以做 transform，是希望把 energy 更多的 conpress 到 lowpass 那端，而 highpass 那端很多時候我們會大量的丟棄掉，去掉人眼不敏感的信息。但機器在分析的過程中和人眼的觀測不是完全一致的，比如在監(jiān)控視頻中，大部分時候視頻都是穩(wěn)定的，突然有一個人或者一個物體出現(xiàn)時，即高頻的信息出現(xiàn)，這類信息對機器分析更加有用。

由于機器分析的引用，使得 quality matrics 會有不同的評判標(biāo)準(zhǔn)出現(xiàn)。

4

What’s Next

這是今年 CVPR 的一篇 paper，是從其網(wǎng)頁上下載的視頻，原文作 video translation。前面有提到，這是一個 video Analysis + Synthesis 的過程。

可以想像，視頻這么大的量，從一個簡潔的圖形恢復(fù)出一個復(fù)雜的高清的視頻內(nèi)容，這時候你會看到它神奇的變換閾。這實際上是對視頻壓縮提供了新的視角。我們創(chuàng)業(yè)之初，投資人也會說，你們現(xiàn)在在做壓縮，而機器學(xué)習(xí) AI 發(fā)展到一定程度，所有圖像、視頻是否都可以用一個很復(fù)雜的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)來代替，最終就能在 decoder 端通過神經(jīng)網(wǎng)絡(luò)，再加上從碼流中提取出來的信息作為神經(jīng)網(wǎng)絡(luò)的輸入重建任一視頻呢？

最后學(xué)習(xí)對我們的壓縮到底產(chǎn)生什么樣的影響？通常大家都會說“一圖勝千言”，一幀圖像可以表達那么多的內(nèi)容，對于一個視頻遠遠不止“千言”，那剛剛關(guān)于我提出的問題，是不是能用機器學(xué)習(xí)代替所有的壓縮標(biāo)準(zhǔn)和以前采用的運動補償+變換閾的傳統(tǒng)做法呢？我今天的回答是否定的。

我們認為在可預(yù)見的未來 5 到 10 年，壓縮還會按照現(xiàn)有的基本的codingstructure 的方向發(fā)展，但是每個模塊都有可能被神經(jīng)網(wǎng)絡(luò)或者機器學(xué)習(xí)代替，但是基本的框架不會改變。

總結(jié)下來主要有兩點：一是通過機器學(xué)習(xí)，視頻的分析、理解和壓縮之間的連接會更加緊密。舉個例子，高速上很多視頻作為交通監(jiān)控，采用車牌識別，但對于一個視頻，如果你關(guān)注的只有車牌的話，會把很大的高清視頻壓縮成一串?dāng)?shù)字。那么不同場景的壓縮，需要對視頻做一些前期的分析。二是通過機器學(xué)習(xí)，視頻的重建技術(shù)會在視頻編碼流程中扮演越來越重要的角色。視頻可以用一些神經(jīng)網(wǎng)絡(luò)的工具，重建出很復(fù)雜的信息。特別針對視頻編碼和解碼，一些有助于解碼端重建的信息可以在編碼端生成，因為編碼端是有源視頻的。這些信息可以放在碼流中傳送到解碼端，進一步輔助解碼端重建出更高質(zhì)量的視頻。這樣的方法可稱作“編碼器引導(dǎo)下的解碼端重建”，比解碼端的獨立重建技術(shù)應(yīng)該會有更大的潛力。機器學(xué)習(xí)在其中也會有更大的施展空間。