VR直播并不是一個很新鮮的內(nèi)容,F(xiàn)acebook、YouTube、Twitter等等早就推出了VR直播的功能,各種演唱會、大型比賽的VR直播也比比皆是。戴上VR眼鏡后那種身臨其境的沉浸感,那種能水平360度,垂直360度任意旋轉(zhuǎn)的體驗(yàn),的確帶有一種強(qiáng)烈的沖擊感,更是一種全新的直播互動模式,這也是VR令人著迷的原因。
最近,NTT Docomo公司宣布已經(jīng)開發(fā)出一種新系統(tǒng),用于依靠5G的8K VR直播視頻流,相比普通視頻格式的VR直播,畫質(zhì)將更好、沉浸感也會更上一層樓。這個系統(tǒng)將用于展示360度的現(xiàn)場活動,允許佩戴VR耳機(jī)的用戶享受流暢逼真的VR體驗(yàn),以觀看現(xiàn)場音樂和體育賽事。
一般來說,VR直播主要包括現(xiàn)場全景拍攝、拼接、編碼推流、傳輸分發(fā)、終端播放5個環(huán)節(jié),現(xiàn)場全景拍攝需要多個鏡頭的組合如有雙目魚眼鏡頭、四目魚眼鏡頭等將現(xiàn)場的全部方向都進(jìn)行拍攝,拼接則需要把采集到的影像盡量無損的拼接成全景的圖像,剩下的三個環(huán)節(jié)好理解,就不一一說明了。
一般情況下,VR在視頻質(zhì)量更高時往往也會更好地工作,因?yàn)楦哔|(zhì)量的圖像意味著更少打破沉浸。但是,當(dāng)圖像是實(shí)時流式傳輸時,高質(zhì)量的視頻帶來更大的數(shù)據(jù)量對視頻的傳輸和圖像的處理都是問題,降低延遲會有較大的困難,而對于360度的VR視頻來說,它還有對實(shí)時拼接和壓縮的處理需求,這部分同樣需要更高速的處理。因此,Docomo選擇的8K 360度視頻,應(yīng)該是困難比較多的。
在現(xiàn)場拍攝方面,Docomo的系統(tǒng)由五個4K魚眼鏡頭輸出以30fps實(shí)時拼接在一起的設(shè)備組成,同時采用H.264編碼器用于實(shí)時壓縮,而對于編碼、拼接等方面,Docomo的解決方案是使用現(xiàn)場可編程門陣列(FPGA)進(jìn)行處理,相比cpu的順序操作處理,F(xiàn)PGA的處理是大規(guī)模并行的,因此所需要的時間比cpu更少,另外Docomo采用專門開發(fā)的算法,以每秒30幀的速度進(jìn)行高密度應(yīng)用。
高質(zhì)量的視頻對于傳輸速率的要求很高,對于這點(diǎn),Docomo選擇依靠5G傳輸,與6家公司進(jìn)行合作,采用它們在VR和5G方面的高技術(shù),比如采用NEC公司的 “NEC云系統(tǒng)”,具有很高的機(jī)密性和高可用性的5G利用率支持。
除此之外,為了減少傳輸需求,還使用了被Docomo稱為foveated呈現(xiàn)的方法,將視頻劃分為不同的區(qū)塊,只有對應(yīng)于用戶的觀看方向的視頻以完全的高質(zhì)量呈現(xiàn),其余部分的處理不如實(shí)現(xiàn)方向精密,節(jié)約時間,實(shí)際上,這個方法有點(diǎn)像是VR版本的中心渲染。
最后,由于實(shí)際情況下用于無線通信的無線電波不斷受到障礙物以及反射物體的影響,因此接收錯誤是不可避免的。因此系統(tǒng)在接受端使用了具有錯誤檢測和校正功能的接收設(shè)備,使8K視頻能夠以最小的干擾顯示。
需要說明的是,Docomo和夏普在去年就已經(jīng)有過類似的測試,同樣是依靠5G傳輸8K視頻,但并非VR的實(shí)時傳輸,顯然,前幾天宣布實(shí)施的這個系統(tǒng)就是去年實(shí)驗(yàn)的一個增強(qiáng)版。由此也可看出,Docomo的8K VR傳輸系統(tǒng)是為將要普及的5G 打造的,它對于通道傳輸速率必須在80Mbps以上的高要求也印證了這一點(diǎn)。
正如開頭所說,VR直播并不新穎,但Docomo的方案的新鮮處在于利用了5G的高速傳輸,將VR的畫質(zhì)提升到了更高一層的水平,帶給觀眾更好的體驗(yàn)感,并且基本解決了過大的數(shù)據(jù)量在傳輸和解碼過程當(dāng)中的問題,按照其新聞稿的說法,這是世界上第一個360° 8K VR視頻傳輸系統(tǒng)。
-
編碼器
+關(guān)注
關(guān)注
45文章
3755瀏覽量
136744 -
vr
+關(guān)注
關(guān)注
34文章
9660瀏覽量
151887 -
NTT
+關(guān)注
關(guān)注
2文章
52瀏覽量
13097
原文標(biāo)題:Docomo開發(fā)并將實(shí)施基于5G的8K VR傳輸系統(tǒng)
文章出處:【微信號:ARchan_TT,微信公眾號:AR醬】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
6TOPS算力NPU加持!RK3588如何重塑8K顯示的邊緣計算新邊界
迅為瑞芯微iTOP-3588開發(fā)板/核心板
iTOP-3588開發(fā)板采用瑞芯微RK3588處理器四核心架構(gòu)GPU內(nèi)置獨(dú)立NPU強(qiáng)大的視頻編解碼
上海移動攜手諾基亞貝爾和高通實(shí)現(xiàn)高清賽事直播體驗(yàn)
怎樣才能更好享受到8K視頻帶來的優(yōu)勢
迅為iTOP-RK3588S開發(fā)板/核心板6TOPS的NPU算力視頻編解碼8K編碼+8K解碼
HDMI線8K和4K的通用性及山澤品牌分析
AMS-ABS_HDMI(8K):8K HDMI雙向切換器,定義超高清傳輸新標(biāo)準(zhǔn)

評論