在開(kāi)放媒體聯(lián)盟（Alliance for Open Media,AOMedia,AOM）中，硬件和軟件開(kāi)發(fā)人員共同創(chuàng)建了AV1標(biāo)準(zhǔn)規(guī)范。本次分享我們邀請(qǐng)來(lái)自谷歌的高級(jí)產(chǎn)品經(jīng)理Roshan Baliga，他將從什么是AV1、AV1硬件的采用、AV1的開(kāi)發(fā)以及商業(yè)測(cè)試、軟件解碼，以及其對(duì)AV1生態(tài)系統(tǒng)的重要性等方面來(lái)介紹AV1的硬件。

大家好，歡迎來(lái)到由開(kāi)放媒體聯(lián)盟和LiveVideoStack共同主辦的2021年開(kāi)放媒體聯(lián)盟峰會(huì)。我是谷歌的高級(jí)產(chǎn)品經(jīng)理Roshan Baliga，從事開(kāi)放視頻編解碼器的工作，致力于AV1硬件開(kāi)發(fā)。AV1標(biāo)準(zhǔn)規(guī)范是開(kāi)放媒體聯(lián)盟在2015年至2018年的三年時(shí)間開(kāi)發(fā)的。開(kāi)放媒體聯(lián)盟原本由7家公司組成，此后，會(huì)員數(shù)量迅速增長(zhǎng)，許多公司都為AV1的研發(fā)做出了貢獻(xiàn)。如今開(kāi)放媒體聯(lián)盟在全球擁有超過(guò)47家公司會(huì)員。

#1. 具有AV1硬件的設(shè)備

這次峰會(huì)的其他演講會(huì)集中討論AV1的軟件開(kāi)發(fā)工作，而我想討論的是AV1的硬件。已經(jīng)發(fā)布三年。我們?cè)贏V1硬件被推向市場(chǎng)這方面取得了巨大的成功，而這一成功得益于我們?cè)贏V1開(kāi)發(fā)之初以來(lái)一直所做的工作。

#2. AV1的開(kāi)發(fā)

在開(kāi)放媒體聯(lián)盟中，硬件和軟件開(kāi)發(fā)人員共同創(chuàng)建了AV1標(biāo)準(zhǔn)規(guī)范。原始設(shè)備制造商和流媒體公司合作共同提供輸入。這讓我們得以完成兩件事：第一，我們可以確保編解碼器中的工具到硬件上實(shí)現(xiàn)不會(huì)太難；第二，這意味著我們可以在規(guī)范開(kāi)發(fā)期間創(chuàng)建一致性碼流，硬件設(shè)計(jì)人員可以用這些一致性碼流來(lái)驗(yàn)證AV1解碼器的應(yīng)用。

#3. Film Grain HW示例

Film Grain是根據(jù)一個(gè)硬件設(shè)計(jì)工程師的反饋而修改的工具。視頻輸出管道通常包括縮放、顏色校正和去噪，因此要求在解碼器輸出時(shí)必須重建膠片顆粒不總是合理的。盡管Film Grain是AV1的標(biāo)準(zhǔn)工具，但該規(guī)范允許在顯示路徑中重新添加膠片膜顆粒噪聲。

#4. 商業(yè)測(cè)試流

在AV1的開(kāi)發(fā)過(guò)程中，開(kāi)放媒體聯(lián)盟會(huì)員Argon Design致力于創(chuàng)建一致性碼流，這些碼流目前已上市。另外兩個(gè)開(kāi)放媒體聯(lián)盟會(huì)員AllegroDVT和Vicue Soft也提供商業(yè)一致性碼流，這些碼流的上市幫助了芯片設(shè)計(jì)人員能夠在AV1發(fā)布后迅速發(fā)布兼容AV1解碼器。

#5. 時(shí)間預(yù)期表

上圖是我們預(yù)期推出AV1編解碼器的時(shí)間表。如果觀察硬件與設(shè)備部分會(huì)發(fā)現(xiàn)業(yè)績(jī)實(shí)際上剛好超出預(yù)期。2019年12月OPPO發(fā)布采用聯(lián)發(fā)科的天璣1000 SoC芯片的Reno3 5G手機(jī)，這是首款在硬件上支持AV1解碼的智能手機(jī)。

#6. 編解碼器時(shí)間表

我們對(duì)硬件支持的渴望也影響了時(shí)間線。上圖是開(kāi)放編解碼器與MPEG /ITU的時(shí)間線對(duì)比。開(kāi)放媒體聯(lián)盟將AV1的發(fā)布日期定在2018年，以確保我們?cè)赩VC發(fā)布之前擁有廣泛的硬件支持，我們知道可以再研究?jī)赡戢@得更大的壓縮，但2018年是啟動(dòng)的發(fā)布AV1的最佳時(shí)機(jī)。為什么我們需要硬件解碼器呢？硬件解碼器又能應(yīng)用到哪里呢？

#7. 軟件解碼 4K

Dav1d是一個(gè)由開(kāi)放媒體聯(lián)盟贊助VideoLAN和FFmpeg社區(qū)開(kāi)發(fā)的開(kāi)源AV1解碼器。它是使用最廣泛的AV1軟件解碼器，谷歌用Dav1d實(shí)現(xiàn)谷歌瀏覽器的AV1支持。在高端臺(tái)式電腦上，例如英特爾和AMD，Dav1d可以以超過(guò)40幀/秒的速度解碼4K分辨率的AV1視頻。但Dav1d在低端臺(tái)式電腦上就沒(méi)有這么快了，有時(shí)Dav1d還達(dá)不到30幀/秒。筆記本電腦通常比臺(tái)式電腦慢，所以可能只能解碼1080p。而且，即使電腦可以在軟件中解碼4K，它也可能不滿足接收高分辨率碼流所必需的數(shù)字版權(quán)管理要求，付費(fèi)內(nèi)容通常只有在使用硬件解碼器時(shí)才可以訪問(wèn)。

#8. 電池續(xù)航

另外一個(gè)值得關(guān)注的是電池續(xù)航時(shí)間問(wèn)題，隨著用戶(hù)在智能手機(jī)和筆記本電腦等移動(dòng)設(shè)備上觀看越來(lái)越多的視頻，電池續(xù)航能力是重要的考慮因素。軟件解碼器在每個(gè)視頻流上使用的電量比同等硬件解碼器更多，即使SoC芯片能夠用軟件解碼720P或1080P，硬件解碼器對(duì)移動(dòng)設(shè)備（的電池續(xù)航時(shí)間）也是至關(guān)重要的。

#9. 谷歌Duo添加AV1支持

編碼方面的差異甚至更大，一年前谷歌Duo添加了AV1，支持分辨率為320×240的視頻通話。分辨率低的原因是在硬件AV1編碼器應(yīng)用到手機(jī)上之前，手機(jī)只能實(shí)現(xiàn)低分辨率的實(shí)時(shí)軟件編碼。這并不是說(shuō)谷歌Duo使用AV1是不成功的，相反，這些低至15kbps的低分辨率通話給發(fā)展中國(guó)家只能打音頻通話的用戶(hù)帶來(lái)了視頻通話。我們需要更好的硬件編碼讓世界各地都能夠享受更好的高分辨率視頻通話。

#10. Libaom編碼速度

軟件編碼面臨的另一個(gè)挑戰(zhàn)是YouTube和抖音等網(wǎng)站承載的視頻內(nèi)容的巨大體量。對(duì)于這些類(lèi)型的網(wǎng)站，用戶(hù)不斷的上傳新的視頻，這些視頻必須立即被轉(zhuǎn)碼和流輸出，這些視頻的體量比網(wǎng)飛和愛(ài)奇藝等付費(fèi)視頻網(wǎng)站上的視頻大很多。過(guò)去的兩年中，我們提升了開(kāi)放媒體聯(lián)盟的參考AV1編碼器的性能，Libaom現(xiàn)在在速度方面非常出色。它的編碼速度大約比定稿發(fā)布時(shí)快了150倍，大致相當(dāng)于VP9的編碼速度。即使如此，對(duì)于需要高效率的大型視頻網(wǎng)站來(lái)說(shuō)，這種方法的性?xún)r(jià)比還不夠高，軟件編碼對(duì)于視頻網(wǎng)站的"頭"來(lái)說(shuō)是極好的，但是"長(zhǎng)尾"還需要更多的CPU。

#11. ASIC硬件編碼

在未來(lái)幾周，谷歌和YouTube將在ASPLOS2021年會(huì)議上發(fā)表一篇描述他們對(duì)硬件編碼器的使用的論文。它將描述硬件編碼器對(duì)大型視頻網(wǎng)站采用新編解碼器的重要性。AV1硬件編碼器IP已經(jīng)上市一年多，今年我們將看到AV1商業(yè)硬件編碼器的上市。上個(gè)月開(kāi)放媒體聯(lián)盟會(huì)員公司NETINT發(fā)布了他們?yōu)橹辈セ蛄髅襟w設(shè)計(jì)的AV1硬件編碼器芯片。

#12. 支持AV1解碼器的品牌

如果視頻不能流暢的回放，用AV1編碼就沒(méi)有什么意義，所以消費(fèi)類(lèi)設(shè)備上的硬件解碼器非常重要。在過(guò)去的兩年里，市場(chǎng)上出現(xiàn)了許多配置了AV1硬件解碼器的設(shè)備，這些設(shè)備包括電視，智能手機(jī)，筆記本電腦，臺(tái)式電腦和圖形處理器。以上圖片是目前支持AV1硬件解碼器的一些品牌，由于AV1有商用的一致性碼流，這些產(chǎn)品將成功解碼所有的合規(guī)AV1流，有些產(chǎn)品甚至可以解碼8K/60 AV1。

#13. 硬件的未來(lái)

我們預(yù)計(jì)會(huì)有更多的制造商在他們的產(chǎn)品組合中支持AV1,尤其是低端市場(chǎng)。隨著AV1被推向更便宜更實(shí)惠的產(chǎn)品，例如中端智能手機(jī)和更便宜的電視。增加的安裝基數(shù)將刺激流媒體公司采用AV1，我們還預(yù)計(jì)很快會(huì)推出配置AV1的機(jī)頂盒，這些設(shè)備可以使用7年及以上的時(shí)間。 希望大家覺(jué)得這個(gè)演講有用并了解到AV1硬件的發(fā)展和采用形勢(shì)，以及其對(duì)AV1生態(tài)系統(tǒng)的重要性。在不久的將來(lái)，請(qǐng)關(guān)注更多支持AV1的設(shè)備和消費(fèi)電子產(chǎn)品的發(fā)布，感謝大家的聆聽(tīng)。

The cover fromcreativeboom.com

編輯：jq