當(dāng)前，越來(lái)越多的用戶(hù)選擇使用手機(jī)進(jìn)行視頻創(chuàng)作，隨著視頻UGC時(shí)代的到來(lái)，用戶(hù)不再滿(mǎn)足于簡(jiǎn)單地視頻拍攝，更希望一些專(zhuān)業(yè)的剪輯功能在移動(dòng)端實(shí)現(xiàn)。在計(jì)算性能非常有限的情況，要實(shí)現(xiàn)這些高負(fù)載的功能，面臨著非常多技術(shù)的挑戰(zhàn)。

大家好，我是陳彬，目前在快手負(fù)責(zé)短視頻架構(gòu)工作，主要負(fù)責(zé)構(gòu)建快手的移動(dòng)端多媒體引擎，提供短視頻拍攝、編輯、發(fā)布等視頻創(chuàng)作的基礎(chǔ)能力，還有消費(fèi)側(cè)的播放器SDK和短視頻后端轉(zhuǎn)碼服務(wù)。在加入快手之前，從事過(guò)很多視頻技術(shù)相關(guān)的領(lǐng)域，如視頻編解碼算法、傳輸算法、多媒體芯片、OTT設(shè)備等。 今天，我演講的主題是“快手移動(dòng)端高性能多媒體引擎”，將重點(diǎn)圍繞高性能這一話(huà)題來(lái)展開(kāi)，從宏觀到微觀，介紹引擎的整體架構(gòu)和具體場(chǎng)景的優(yōu)化手段。演講分為快手多媒體引擎概況、高效使用硬件資源、拍攝和編輯場(chǎng)景的性能優(yōu)化三個(gè)部分，最后一起展望一下5G+邊緣計(jì)算在短視頻方面的應(yīng)用。

1. 快手多媒體引擎概況 1.1 UGC平臺(tái)

眾所周知，快手是一個(gè)短視頻UGC平臺(tái)，而視頻內(nèi)容的生產(chǎn)是內(nèi)容供給的源頭，用戶(hù)通過(guò)使用手機(jī)的拍攝和編輯功能創(chuàng)作視頻，然后上傳到快手平臺(tái)。之后，后端服務(wù)器利用AI技術(shù)對(duì)這些視頻進(jìn)行內(nèi)容理解，把理解的信息傳送給推薦引擎，推薦引擎結(jié)合用戶(hù)興趣，進(jìn)行個(gè)性化推薦，進(jìn)行分發(fā)消費(fèi)。消費(fèi)用戶(hù)通過(guò)觀看、點(diǎn)贊、評(píng)論和私信等動(dòng)作產(chǎn)生一系列的互動(dòng)行為，這些互動(dòng)行為同時(shí)又進(jìn)一步促進(jìn)了內(nèi)容的生產(chǎn)。

這是一個(gè)正向反饋的鏈路，社區(qū)像滾雪球一樣不停的增長(zhǎng)。這就是快手最重要的UGC生態(tài)閉環(huán)。 快手目前DAU超過(guò)2億，作者數(shù)1.9億，每天新增作品數(shù)1500萬(wàn)，生產(chǎn)者的比例也很高，用戶(hù)分布非常廣，手機(jī)型號(hào)有幾千款，價(jià)格區(qū)間從幾百元到幾千元。這些生產(chǎn)者使用快手移動(dòng)端的多媒體引擎來(lái)進(jìn)行創(chuàng)作，通過(guò)AI技術(shù)賦能內(nèi)容生產(chǎn)，為用戶(hù)提供生產(chǎn)創(chuàng)意，降低生產(chǎn)門(mén)檻，從而提升作品的數(shù)量和質(zhì)量。 1.2 AI賦能內(nèi)容生產(chǎn)

AI技術(shù)落地是非常困難的，快手想要實(shí)現(xiàn)AI落地，首先要做好基礎(chǔ)平臺(tái)、算法和產(chǎn)品這三個(gè)要素。基礎(chǔ)平臺(tái)是指移動(dòng)端多媒體平臺(tái)，包括快手自研的深度學(xué)習(xí)推理引擎YCNN、3D渲染引擎和多媒體引擎。復(fù)雜的AI算法運(yùn)行在這三個(gè)高性能的引擎上，例如人體理解、場(chǎng)景理解、語(yǔ)音識(shí)別、圖像增強(qiáng)等算法，這些算法的效果通過(guò)產(chǎn)品形態(tài)呈現(xiàn)給用戶(hù)。 舉例說(shuō)明這些AI算法的落地場(chǎng)景。第一個(gè)是“萌面”魔法表情，用戶(hù)在拍攝視頻的時(shí)候。無(wú)需3D結(jié)構(gòu)光攝像頭也可以實(shí)時(shí)捕捉面部表情，并實(shí)時(shí)把面部表情通過(guò)卡通頭像的形式展現(xiàn)，能夠?qū)崿F(xiàn)非常豐富的面部表情。第二個(gè)是梵高的天空特效，使用了天空識(shí)別算法。第三個(gè)是前段時(shí)間特別受歡迎的娃娃臉，通過(guò)GAN技術(shù)把用戶(hù)的臉秒變童顏，可以在安卓和iOS大部分的機(jī)型上實(shí)時(shí)運(yùn)行，技術(shù)挑戰(zhàn)非常大，快手也是國(guó)內(nèi)首家實(shí)現(xiàn)這項(xiàng)技術(shù)的公司。第四個(gè)是自動(dòng)添加字幕功能，通過(guò)識(shí)別算法，將語(yǔ)音轉(zhuǎn)換為文字。最后一個(gè)是暗光增強(qiáng)算法，通過(guò)該算法可以對(duì)暗光環(huán)境下拍攝的視頻進(jìn)行提亮和去噪，還原更多的細(xì)節(jié)。 這些都是AI賦能內(nèi)容生產(chǎn)的實(shí)際應(yīng)用，通過(guò)平臺(tái)、算法和產(chǎn)品三要素，實(shí)現(xiàn)了原創(chuàng)、好玩、清晰和流暢，這是快手平臺(tái)上每天能產(chǎn)生海量作品的秘密之一。 1.3 快手短視頻生產(chǎn)消費(fèi)整體鏈路

上圖是我們整個(gè)生產(chǎn)到消費(fèi)的鏈路，由作者端、云端和觀眾端三部分組成。作者端也就是生產(chǎn)側(cè)，通過(guò)拍攝、導(dǎo)入、編輯等操作生產(chǎn)視頻，然后把視頻發(fā)送到云端，云端對(duì)視頻進(jìn)行存儲(chǔ)和轉(zhuǎn)碼，分發(fā)給CDN，最終通過(guò)CDN網(wǎng)絡(luò)傳輸給用戶(hù)進(jìn)行消費(fèi)。本次演講內(nèi)容的重點(diǎn)是位于作者側(cè)的移動(dòng)端多媒體引擎。 1.4 快影

在快手主app之外，我們還孵化了一些獨(dú)立的內(nèi)容生產(chǎn)App。說(shuō)到視頻制作方面，就必須介紹視頻剪輯工具——快影，它主要面向更專(zhuān)業(yè)一些，需要在移動(dòng)端進(jìn)行較復(fù)雜視頻編輯的用戶(hù)。 快影最近霸占了App Store免費(fèi)排行榜榜首的位置。它的功能更加專(zhuān)業(yè)，支持超高清視頻的編輯和AI特效功能，是快手移動(dòng)端多媒體引擎賦能的一個(gè)代表性產(chǎn)品，我下面將會(huì)用快影的案例進(jìn)行分析。 1.4.1 多媒體引擎是什么

簡(jiǎn)單來(lái)說(shuō)，多媒體引擎主要負(fù)責(zé)視頻的采集和后期處理，其功能分為拍攝和編輯。拍攝包括濾鏡、美顏美妝、AI特效等功能，編輯包括了剪輯、轉(zhuǎn)場(chǎng)和貼紙等功能。 這些功能的背后面臨著4K分辨率、3D渲染、美顏美妝、端上AI等技術(shù)挑戰(zhàn)。這些挑戰(zhàn)都需要龐大的計(jì)算量，再加上實(shí)時(shí)處理的需求，可謂是難上加難。要解決這些問(wèn)題，首先就必須要高效的使用硬件資源。 2.高效利用硬件資源 2.1 并行化基本原則

手機(jī)端的硬件資源主要有CPU、GPU、HW Codec等模塊，使用這些資源最簡(jiǎn)單的辦法是輪流使用，但這種方法并不高效，例如，會(huì)出現(xiàn)CPU工作，但是GPU空閑的情況。因此要做到并行化，讓所有硬件同時(shí)工作，這是一個(gè)非常基本的原則，也是快手多媒體引擎架構(gòu)設(shè)計(jì)的一個(gè)指導(dǎo)思想。 3.拍攝和編輯場(chǎng)景的性能優(yōu)化 3.1 拍攝場(chǎng)景

理清設(shè)計(jì)的指導(dǎo)思想后，再看一下具體的優(yōu)化場(chǎng)景。對(duì)于拍攝，從相機(jī)采集的一幀視頻數(shù)據(jù)先后要經(jīng)過(guò)圖像算法、濾鏡、美顏美妝、魔法特效等模塊，然后分成兩路，一路給實(shí)時(shí)預(yù)覽，一路給錄制，整個(gè)流程要在33毫秒之內(nèi)完成（30fps）。 3.2 拍攝的架構(gòu)

拍攝的架構(gòu)需要支撐起實(shí)時(shí)采集、實(shí)時(shí)處理、實(shí)時(shí)預(yù)覽和實(shí)時(shí)錄制的應(yīng)用場(chǎng)景。整個(gè)架構(gòu)從下往上分成三層。 最下面一層是采集和渲染的Pipeline流水線(xiàn)，由采集模塊、CPU處理單元、GPU處理單元、顯示模塊和錄制模塊組成。 中間一層由各個(gè)算法模塊和特效渲染模塊組成，是以plugin的形式插入到底層渲染流水框架中，類(lèi)似ffmpeg的filter，通過(guò)排列組合，實(shí)現(xiàn)各種效果。這些filter之間是有依賴(lài)關(guān)系的，由一個(gè)負(fù)責(zé)依賴(lài)管理的模塊DependencyManager進(jìn)行控制。在此之上是非常重要的monitor模塊，它對(duì)整個(gè)流水線(xiàn)進(jìn)行實(shí)時(shí)監(jiān)控，包括算法模塊耗時(shí)、CPU負(fù)載、GPU負(fù)載、內(nèi)存使用量、幀率以及分辨率等方面。 這些數(shù)據(jù)實(shí)時(shí)采集后發(fā)送到快手后端的流媒體大數(shù)據(jù)平臺(tái)，進(jìn)行實(shí)時(shí)清洗、聚合和展示。基于這些數(shù)據(jù)，可以實(shí)時(shí)監(jiān)控生產(chǎn)模塊的性能。整個(gè)過(guò)程是分鐘級(jí)別的延遲，也就是說(shuō)，拿出快手APP進(jìn)行拍攝，一分鐘之后就能在后臺(tái)看到整個(gè)操作流程的性能數(shù)據(jù)。根據(jù)這些性能數(shù)據(jù)，對(duì)架構(gòu)進(jìn)行針對(duì)性的優(yōu)化。這也是快手一直以來(lái)實(shí)踐的方法，以大數(shù)據(jù)為驅(qū)動(dòng)來(lái)進(jìn)行性能優(yōu)化，提升用戶(hù)體驗(yàn)。 中間層之上是APP接口層，在安卓和iOS平臺(tái)上分別提供了Java和OC的接口。整個(gè)架構(gòu)作為一個(gè)跨平臺(tái)的方案，除了最上層的APP接口層，大部分使用C++來(lái)實(shí)現(xiàn)。 前面提到的高效使用硬件資源的思想體現(xiàn)在框架圖中最底層的鏈路上，從相機(jī)采集的數(shù)據(jù)先傳遞給CPU處理模塊，CPU處理完之后把數(shù)據(jù)傳給GPU，然后CPU立刻再去相機(jī)采集下一幀的數(shù)據(jù)。在同一時(shí)間點(diǎn)，CPU正在處理當(dāng)前剛采集的一幀數(shù)據(jù)，而GPU正在處理前一幀的數(shù)據(jù)，CPU和GPU是并行工作的，這就是高效利用硬件思想的一個(gè)很好的體現(xiàn)。 框架圖中的YCNN引擎是快手Y-TechAI實(shí)驗(yàn)室開(kāi)發(fā)的移動(dòng)端的推理引擎，各類(lèi)AI算法都運(yùn)行在YCNN上。例如，最常用的人臉關(guān)鍵點(diǎn)算法，人體關(guān)鍵點(diǎn)算法和手勢(shì)關(guān)鍵點(diǎn)算法。YCNN引擎通過(guò)Metal、OpenCL、SIMD這些加速方式，充分利用底層的CPU、GPU和NPU資源。除了高效使用這些硬件資源之外，還做了4個(gè)方面的優(yōu)化，第一點(diǎn)是算子融合，把算子打包在一起，load進(jìn)CPU的cache，這樣可以減少分別load的額外消耗。第二點(diǎn)是內(nèi)存優(yōu)化，盡量避免頻繁地內(nèi)存讀寫(xiě)操作，盡量一次讀完數(shù)據(jù)，處理完后一次性寫(xiě)入，避免對(duì)同一段數(shù)據(jù)反復(fù)讀寫(xiě)，同時(shí)要注意做內(nèi)存排布優(yōu)化，增加cache命中率。另外兩點(diǎn)是通用的磁盤(pán)I/O優(yōu)化和多線(xiàn)程優(yōu)化。 經(jīng)過(guò)這些優(yōu)化后，在iPhone6手機(jī)上實(shí)測(cè)，人臉關(guān)鍵點(diǎn)處理速度是200fps，一秒能處理200幀圖像，人體關(guān)鍵點(diǎn)是90fps，人體分割是100fps，都是業(yè)界非常優(yōu)秀的性能。 3.3 分辨率和幀率的變化

除去技術(shù)側(cè)性能的指標(biāo)，快手也很注重從用戶(hù)主觀感受出發(fā)，衡量?jī)?yōu)化對(duì)用戶(hù)體驗(yàn)的收益。快手制定了拍攝場(chǎng)景的三個(gè)關(guān)鍵指標(biāo)：分辨率、幀率和卡頓率。分辨率和幀率很好理解，而卡頓率一般出現(xiàn)在視頻播放場(chǎng)景。先看分辨率和幀率的變化，隨著多媒體引擎的上線(xiàn)以及持續(xù)性能優(yōu)化，快手的拍攝分辨率從之前540P升級(jí)到720P，部分機(jī)型已經(jīng)升級(jí)到1080P，幀率也在持續(xù)的上升，實(shí)現(xiàn)了更清晰和更流暢。 3.4 卡頓率

但是，我們發(fā)現(xiàn)，僅靠平均幀率并不能全面反映一個(gè)視頻的流暢度。以一個(gè)實(shí)際例子來(lái)看，我們一位同事去澳洲旅游，在當(dāng)?shù)嘏臄z的這段視頻里，出現(xiàn)袋鼠的畫(huà)面特別卡頓，但是，整個(gè)視頻的平均幀率其實(shí)已經(jīng)達(dá)到20fps以上。正常情況下，20fps+是比較流暢的，而這個(gè)視頻卻看起來(lái)很卡，什么原因呢？ 我們仔細(xì)看了一下幀率的分布，發(fā)現(xiàn)幀率分布非常不均勻，因此發(fā)現(xiàn)之前評(píng)估視頻是否流暢僅靠平均幀率是有缺陷的。為了解決這個(gè)問(wèn)題，快手定義了拍攝卡頓率指標(biāo)。相鄰兩幀時(shí)間戳之間的差值大于200毫秒就認(rèn)定為卡頓，卡頓率是指發(fā)生過(guò)卡頓的次數(shù)除以總的拍攝次數(shù)。卡頓率結(jié)合平均幀率才能更全面地去衡量拍攝視頻的流暢度。 3.5 卡頓率的變化

從上圖的卡頓率的曲線(xiàn)可以看到，經(jīng)過(guò)優(yōu)化后，卡頓率在持續(xù)下降。通過(guò)分辨率、幀率和卡頓率這三個(gè)指標(biāo)，可以看到，經(jīng)過(guò)持續(xù)的優(yōu)化，用戶(hù)感知是更加清晰、流暢。 3.6 編輯場(chǎng)景

在編輯場(chǎng)景方面，上圖兩個(gè)頁(yè)面是快影的主要頁(yè)面，其中展示了快影的部分編輯功能。左邊頁(yè)面包括了添加視頻片段、分割、倒放和旋轉(zhuǎn)等操作，右邊頁(yè)面是添加轉(zhuǎn)場(chǎng)的操作。 相比于iOS，安卓端的技術(shù)挑戰(zhàn)更大。安卓硬件解碼是一個(gè)老生常談的問(wèn)題，相比于軟件解碼器，硬件解碼器更快，特別是在高分辨率視頻場(chǎng)景下，優(yōu)勢(shì)更加明顯。 3.7 安卓硬解碼

上圖是導(dǎo)入一個(gè)4K視頻進(jìn)行編輯的場(chǎng)景，左邊是市面上一款很火的編輯工具，從預(yù)覽頁(yè)面點(diǎn)擊“下一步”到編輯頁(yè)時(shí)，有一個(gè)“合成中”的等待，之后才能進(jìn)入編輯頁(yè)。需要等待的原因是視頻的分辨率太高，如果不使用硬件解碼器，很難在編輯頁(yè)面做到實(shí)時(shí)操作，因此需要提前做一次轉(zhuǎn)碼，進(jìn)行預(yù)處理，把分辨率降低。右邊的是快手，同樣的視頻點(diǎn)擊“下一步”，立刻就能進(jìn)入到編輯頁(yè)，不需要進(jìn)行預(yù)處理，這就是硬件解碼器的功勞。 3.8 安卓硬解碼存在的問(wèn)題

安卓硬解碼在具備以上優(yōu)點(diǎn)的同時(shí)，也存在著很多問(wèn)題：第一，安卓的機(jī)型特別多。第二，解碼器的輸出格式多樣，性能不一。第三，支持的分辨率不一樣。針對(duì)這些問(wèn)題，業(yè)界常用的解決辦法是黑白名單，快手一開(kāi)始也做了黑白名單，但是，黑白名單是一個(gè)后置的策略，必須先知道機(jī)型，在發(fā)現(xiàn)有問(wèn)題之后才能加到名單里，這樣的操作并不智能，往往需要人工干預(yù)。快手的解決方案是跑Benchmark，自動(dòng)選擇最佳模式，不需要人工干預(yù)，在手機(jī)端運(yùn)行測(cè)試程序選出最佳模式。 3.9 硬解Benchmark 3.9.1 支持哪些分辨率？

雖然手機(jī)都會(huì)聲明支持哪些分辨率，但實(shí)際情況，還是要檢測(cè)解碼的正確性。把不同分辨率特定pattern的視頻輸入給解碼器，檢查解碼出來(lái)的YUV數(shù)據(jù)正確性。 3.9.2 Surface輸出 & Bytebuffer輸出

解碼器一般都支持幾種輸出格式，快手使用跑馬策略，同樣的視頻輸入給解碼器，選擇解碼速度最快的輸出格式。 使用了自動(dòng)Benchmark后，快影的硬件解碼器覆蓋率，從70%提升到90%+，這是一個(gè)非常大的提升。硬解是所有流暢編輯體驗(yàn)的基礎(chǔ)。 3.10 Seek優(yōu)化

連續(xù)Seek是視頻編輯操作過(guò)程中很常見(jiàn)的一個(gè)場(chǎng)景，特別容易出現(xiàn)卡頓的情況，需要進(jìn)行大量的優(yōu)化。為了達(dá)到理想的用戶(hù)體驗(yàn)，需要做到兩點(diǎn)：第一點(diǎn)，畫(huà)面連續(xù)顯示，這不是簡(jiǎn)單的seek，而是連續(xù)seek的過(guò)程，因此不能出現(xiàn)靜止幀的情況；第二點(diǎn)，畫(huà)面要能跟上手指移動(dòng)的速度。 為了滿(mǎn)足上述兩點(diǎn)，我們?cè)O(shè)計(jì)了一個(gè)復(fù)雜而精巧的機(jī)制，能夠做到保持解碼器連續(xù)工作，不做重置，實(shí)現(xiàn)了seek跟手的流暢體驗(yàn)。重點(diǎn)講下前向seek，也就是倒放。在保持解碼器連續(xù)工作時(shí)，還可以在解碼前丟棄一些非參考幀，只解碼參考幀，減輕解碼器的負(fù)擔(dān)。這樣兩方面優(yōu)化，可以實(shí)現(xiàn)流暢的前向seek體驗(yàn)。 3.11 轉(zhuǎn)場(chǎng)優(yōu)化

轉(zhuǎn)場(chǎng)也屬于編輯時(shí)常用的功能，在兩段視頻的交接處，往往容易卡頓，因?yàn)樵阡秩镜臅r(shí)候需要兩路解碼。我們通過(guò)提前預(yù)熱解碼器的方法來(lái)解決這個(gè)問(wèn)題，實(shí)現(xiàn)了流暢的轉(zhuǎn)場(chǎng)預(yù)覽效果。 舉例上圖，左右兩段表示兩個(gè)視頻片段。左邊橘色解碼器解到接近交界位置的時(shí)候，創(chuàng)建藍(lán)色解碼器，并讓其預(yù)解碼幾幀。當(dāng)渲染轉(zhuǎn)場(chǎng)效果時(shí)，因?yàn)樗{(lán)色解碼器已經(jīng)提前預(yù)解碼了，此時(shí)就只有橘色的解碼器在工作，整體負(fù)載比較低，就能夠?qū)崿F(xiàn)流暢的效果。 4. 5G的關(guān)鍵能力

最后說(shuō)一下我們對(duì)5G的展望。5G的特點(diǎn)是兩高一低：高帶寬，數(shù)百兆甚至數(shù)十G的峰值傳輸帶寬；低延遲，10毫秒以?xún)?nèi)的端到端延遲；高可靠，帶寬和延遲非常穩(wěn)定。這使得5G能夠提供非常高效的通信鏈路。 有了這個(gè)通信鏈路，我們認(rèn)為，就有可能把端上采集的數(shù)據(jù)，實(shí)時(shí)發(fā)給云端處理。利用云端強(qiáng)大的處理速度運(yùn)行各類(lèi)復(fù)雜的算法，把處理完的數(shù)據(jù)再實(shí)時(shí)傳輸?shù)揭苿?dòng)端顯示。整個(gè)過(guò)程如果在33毫秒之內(nèi)完成，就意味著達(dá)到了實(shí)時(shí)的效果。利用云端計(jì)算力可以解決手機(jī)的性能瓶頸問(wèn)題。在5G的加持下，借助云端的計(jì)算力，就能實(shí)現(xiàn)更加復(fù)雜的AI算法和更加逼真的CG渲染效果，提供更酷炫的視頻制作體驗(yàn)。這個(gè)未來(lái)需要5G+邊緣計(jì)算結(jié)合來(lái)實(shí)現(xiàn)。快手會(huì)在這些新方向上持續(xù)、深入的探索。