2020 年 11 月 19 日，第四屆 EmTech China 全球新興科技峰會于蘇州市相城區(qū)召開。作為在全球享有盛譽，以權(quán)威見解深度解讀全球科技趨勢的盛會之一，《麻省理工科技評論》 的 EmTech 系列峰會已成為全球最具影響力的科技會議風向標。今年，EmTech China 2020 繼續(xù)以技術(shù)與商業(yè)的結(jié)合為主線，數(shù)十位世界頂級科學家、海內(nèi)外院士、商業(yè)領(lǐng)袖、科創(chuàng)精英蒞臨現(xiàn)場，探討新興科技發(fā)展現(xiàn)狀及其為人類社會帶來的巨大影響。此外，《麻省理工科技評論》“50 家聰明公司” 2020 年榜單也在現(xiàn)場重磅發(fā)布。

會上，小米技術(shù)委標準與新技術(shù)部音視頻標準總監(jiān) Mary-Luc Champel 分享了以《互聯(lián)世界》為主題的演講。以下為經(jīng)過整理的演講實錄：

之前演講的嘉賓認為我們這些大的互聯(lián)網(wǎng)公司扼殺了小型的初創(chuàng)公司，其實我們小米的模式是不一樣的。小米的模式是建立生態(tài)系統(tǒng)，鼓勵每個人加入到平臺上來。今天我想跟大家介紹一下，類似小米這樣的互聯(lián)網(wǎng)公司，在 5G 服務上的多媒體編碼是如何做的，我們有很多的創(chuàng)新，這些創(chuàng)新會影響到大家。

小米的模式是建立生態(tài)系統(tǒng)

首先我想給大家介紹一下為什么我們有這樣的創(chuàng)新，然后給大家介紹體積視頻、未來的 XR 服務以及應用于 5G 服務的視頻編解碼器。今年很多領(lǐng)域的發(fā)展是非常迅猛的，體積視頻、未來的 XR 服務是我們?nèi)蘸蟮陌l(fā)展趨勢。再然后我想跟大家介紹一下媒體傳輸，媒體傳輸是如何影響未來的。最后我想展望一下未來，也就是看一下 6G 服務未來的發(fā)展如何，我相信未來 5-10 年 6G 服務會實現(xiàn)。

現(xiàn)在有層出不窮的新型服務和新型用途，這給我們帶來了新的挑戰(zhàn)。當然我們還可能有新的媒體形式，比如幾年前出現(xiàn)的媒體形式有圖片、視頻等。現(xiàn)在我們有 3D 視頻，3D 視頻更加復雜，是加強版的視頻，同時還有 VR、AR 以及游戲等。

當然這些新的媒體、新的服務要求我們有更高的帶寬、更低的時延。比如玩游戲播放視頻時，速度不夠快就會有時延；比如現(xiàn)場直播，你關(guān)注的足球隊正在參加世界杯，如果在臨門一角的關(guān)鍵時刻視頻卡頓了，觀眾就會非常著急?，F(xiàn)在很多國家的用戶需要居家隔離，帶寬的使用在大大增加。

一些用戶在家辦公，他們需要使用視頻會議的方式進行交流。另外學生進行在線教育學習時，如果在線學習平臺不能支持流暢的視頻播放，家長和孩子們肯定會受到很大的影響。娛樂設施也會用到很多的帶寬。這些都需要更好的編解碼器，更好的帶寬管理以及更好的傳輸解決方案。在小米，我們的任務是克服這些新挑戰(zhàn)，以簡單易用的方式為我們的用戶提供新服務。

現(xiàn)在的視頻編解碼器普遍使用 H.264 標準，它在 2003 年就被提出來，為什么大家現(xiàn)在還在使用？因為它比較便宜，而且直到現(xiàn)在還是非常強大的技術(shù)。在 2013 年，VP9、H.265 (HEVC) 標準被制定，相比于 H.264，在同等視頻質(zhì)量下可以節(jié)省近 50% 的傳輸碼流。

在 2018 年，一些公司成立了開放媒體聯(lián)盟（AOM）組，提供可免費使用的編解碼器 AV1，AV1 比 HEVC 標準下的編解碼的性能較好一些。但因為它沒有獲得足夠的硬件支持，所以到目前為止取得了較小的成功。在 2020 年，H.266 (VVC)、MPEG-5 (EVC) 和 MPEG-5 (LCEVC) 標準被制定，其中，H.266（VVC）標準是由 ISO 和 ITU 聯(lián)合制定的。MPEG-5 (EVC) 標準是基于歷史悠久的工具做的，因此可以免費使用，該標準采用了有限數(shù)量的新工具來實現(xiàn)更高的壓縮效率。

大家看到的是視頻編解碼器整體的變化趨勢，小米一直在密切關(guān)注這種變化趨勢，而且關(guān)注的重點在 3GPP 領(lǐng)域。3GPP 主要研究面向 5G 服務的視頻編解碼器（包括下一代編解碼器，如 VVC 和 EVC）。小米現(xiàn)在也在關(guān)注 5G 的發(fā)展，我們想看一下未來整個的應用趨勢和未來的編解碼器解決方案，考慮是否可以在相同視頻質(zhì)量水平下降低所需的壓縮碼率，或者可以在相同壓縮碼率下提高視頻質(zhì)量。

另外 3GPP 已經(jīng)探索出了評估編解碼器的多種用途，這些用途包括是不是純高清流媒體、4K 電視服務、在線游戲、屏幕以及內(nèi)容分享等等。針對每一個應用都提供了測試序列，在編碼時也考慮了操作的限制，比如在有時延的情況下用戶很難有愉快的游戲體驗。另外對于 AVC 和 HEVC，我們使用行業(yè)公認的衡量標準，公認的衡量標準包括 PSNR、SSIM 和 VMAF。

二維視頻、三維視頻和體積視頻

在這些領(lǐng)域我們已經(jīng)花了大概兩年多的時間進行研究，接下來我想給大家介紹體積視頻，我們之前講的是二維視頻和三維視頻，接下來講的加強版的視頻類型是體積視頻。體積視頻可以移動，當你移動自己的時候就會產(chǎn)生 3D 的體驗，用戶可以看到不同深度的東西。在這里我們可以看到這個視頻，雖然是平面的視頻，但是如果你在其中就可以體驗到體積效果，感受到體積效果的原因是它支持交互式視差。我們從參考視頻和深度圖中渲染這些幀，編碼的內(nèi)容包括視頻、深度圖以及遮擋物體地圖，利用這些數(shù)據(jù)我們可以得到重建幀。

另外，小米在做一些場景描述的工作，如果要讓用戶有更加豐富的體驗，我們必須將視頻和音頻相結(jié)合，而且將 3D 的內(nèi)容和互動的內(nèi)容加入其中。目前是沒有這樣的技術(shù)能把這些全都整合到一塊。

同樣還有一點非常重要，就是我們關(guān)注與研究的點云編碼 (PCC) 方向，也就是點以及空間的編碼。點云中有數(shù)不清的點，它可以用于實時直播，你可以讓這里面的人物旋轉(zhuǎn)，還可以有渲染的功能。點云也可以應用于 3D 物體，即用于環(huán)境監(jiān)測的雷達，用雷達監(jiān)測出來的復雜場景可以變成 3D 的點云。3D 點云視頻也可以應用在文化遺跡的捕捉上，可以用于保護我們的文物古跡。

MPEG 的 PCC 中有兩種技術(shù)方法，一種是基于視頻的編碼方法 VPCC，另一種是基于幾何的編碼方法 GPCC。VPCC 采用傳統(tǒng)的視頻編解碼器來處理點云，這是非常好的解決方案，這種方法可以用于密集和動態(tài)點云的壓縮。GPCC 方法適用于稀疏的點云數(shù)據(jù)，下一代 GPCC 將會支持動態(tài)點云。該方法采用幾何編碼，將點云數(shù)據(jù)放入一個立方體，該立方體會被劃分成 8 個子立方體，根據(jù)每個子立方體的空間占用模式對它們進行迭代劃分，直至子立方體中只有一個點。

這是我們推導出來的空間占用模式。在編碼時，點的查找路徑中有很多冗余信息，GPCC 可以幫助減少這些冗余，從而減少編碼所需比特，因此 GPCC 是非常有潛力的一種編碼方法。上個月 MPEG 剛剛完成了 GPCC 第一版的編碼器?？梢越o大家看一下我們實現(xiàn)的編碼方法，大家可以看到小的立方體全都已經(jīng)被創(chuàng)建出來了，可以逐漸確定它的占用模式。

XR 技術(shù)可幫助用戶隨時隨地使用設備

在未來，我們還會看到什么樣的技術(shù)呢？

比如XR 技術(shù)是一項很有意思的技術(shù)，可以給用戶很多不一樣的體驗，尤其在線上游戲中會被經(jīng)常用到，也可以幫助用戶在任何時候任何地方使用任何的設備。分布式計算、分割渲染、VR 直播也是重要的應用領(lǐng)域。如果想要一個 360 度的視頻，其中會有很多的數(shù)據(jù)，但是我不知道在我后面的是什么，如果我要快速地旋轉(zhuǎn)，需要把我背后的這些數(shù)據(jù)都傳過來，只有這樣才能夠使用戶有 360 度的視角。依賴于 VR 視角的流媒體可以幫我們預測用戶在接下來會有什么樣的動作，提前把這些數(shù)據(jù)進行傳輸。

另一個方面是媒體傳輸技術(shù)。這里是基于 HTTP CDN 的流媒體，YouTube、愛奇藝、騰訊視頻、蘋果都在采用基于 HTTP CDN 的解決方案。HTTP CDN 要連接起來是非常簡單的，客戶端能夠根據(jù)帶寬獲取質(zhì)量最高的內(nèi)容。很多信息或者數(shù)據(jù)都會被部署在 CDN 上面，由客戶端來決定需要獲取的內(nèi)容，可以實時地根據(jù)客戶端的帶寬，直接去下載對應的資源或者內(nèi)容。

媒體傳輸還有一種新的技術(shù)叫 CMAF，它是一種新的應用格式。內(nèi)容的提供商對于相同的內(nèi)容有很多不同的版本、不同的質(zhì)量以及不同的加密方式，CMAF 可以為所有版本提供共同的格式，可以應用于一些基于 HTTP 的框架，比如 DASH 和 HLS，所以采用 CMAF 能夠有相同的網(wǎng)絡分發(fā)，去解決客戶的需求?？蛻舳丝梢允仟毩⒌?，也可以采用支持 HLS 或 DASH 的網(wǎng)頁瀏覽器。CMAF 是非常有意思的一種技術(shù)，因為可以支持 MSE，CMAF 可以由 MSE 的客戶端來進行使用。如果大家對于 CMAF 的媒體傳輸感興趣的話，下一個月會有專門的會議，時間大概是半天，我們會具體討論 CMAF 的一些應用和部署。

5G 的停留和 6G 的展望

最后我想講一講 3GPP。一開始我們有移動電話 (1G,2G)，之后我們有了流量數(shù)據(jù)（3G），有了 3G 之后我們可以通過手機上網(wǎng)，之后有了寬帶（4G），我們小小的手機也可以觀看或者發(fā)起直播。我們現(xiàn)在已經(jīng)不僅僅用手機打電話了，而是用它上網(wǎng)。現(xiàn)在有了 5G，又有了新的生態(tài)系統(tǒng)，緊隨其后的是上面接入了很多服務模塊。我們不僅停留在 5G，還在展望 6G。

5G 現(xiàn)在在中國已經(jīng)很流行了，中國很多的公司已經(jīng)在講 6G 了。那么 6G 到底是什么？6G 其實就是混合的模塊，把我們的物理世界、虛擬世界以及數(shù)字世界結(jié)合起來，用戶則是站在這幾個不同世界的中間。這就是我的介紹，謝謝。

責任編輯：xj

原文標題：EmTech China現(xiàn)場直擊丨小米技術(shù)委標準與新技術(shù)部音視頻標準總監(jiān)Mary-Luc Champel：小米模式是建立生態(tài)系統(tǒng)

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。