在Facebook更名為Meta前，Meta公司就一直致力于Codec Avatars項(xiàng)目，旨在使VR實(shí)現(xiàn)“如照片般逼真”的虛擬化身。這一系統(tǒng)結(jié)合AI處理和設(shè)備上的眼動(dòng)追蹤、嘴巴追蹤等傳感器，將使用者的臉以最接近真實(shí)的方式投射進(jìn)虛擬世界。

近日有外媒ROAD TOVR報(bào)道稱，Meta Reality Labs的研究人員已經(jīng)制造了一款VR頭戴設(shè)備原型機(jī)，該原型機(jī)可以支持Codec Avatars項(xiàng)目的渲染，搭載了專門用于AI處理的定制加速器芯片。

Meta上個(gè)月發(fā)表在IEEE CICC會(huì)議上的一篇論文中透露，它正在設(shè)計(jì)一個(gè)采用7nm工藝的定制芯片用于作為Codec Avatars的加速器。

該芯片的占位面積僅為 1.6mm2，該小組在芯片設(shè)計(jì)過程中，設(shè)計(jì)人員考慮了生成Codec Avatars 模型所需要的數(shù)據(jù)。

“測(cè)試芯片采用7nm制程，具有神經(jīng)網(wǎng)絡(luò)加速器，由1024乘法累加陣列、2MB片上SRAM和32位RISC-V CPU組成。”研究人員說。

反過來，他們還重建了 Codec Avatars AI 模型的一部分，以配合芯片的特定架構(gòu)。

“我們通過重新構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的眼睛注視模型并針對(duì)硬件進(jìn)行定制，使得模型更加適合芯片。這降低了片外內(nèi)存訪問的能耗和延遲。” Reality Labs研究人員寫道。“通過在電路級(jí)有效地加速卷積運(yùn)算，所展示的原型芯片實(shí)現(xiàn)了每秒 30 幀的性能，并且功耗低且外形小巧。”

通過加速 Codec Avatars 工作負(fù)載的密集部分，該芯片不僅加快了進(jìn)程，而且還降低了功率及發(fā)熱。由于芯片的定制設(shè)計(jì)，它能夠比通用 CPU 更有效地做到這一點(diǎn)，然后為 Codec Avatars 的眼動(dòng)追蹤組件的重新架構(gòu)軟件設(shè)計(jì)提供信息。

雖然定制芯片處理部分 Codec Avatars 編碼過程，但 XR2 管理解碼過程并渲染化身的實(shí)際視覺效果。

目前我們不知道虛擬化身的視覺渲染效果如何。在非一體機(jī)上運(yùn)行時(shí)，該模型將用戶建模掃描的非常詳細(xì)，這可能過于復(fù)雜，不能在Quest2等一體機(jī)上得到完整的呈現(xiàn)。目前還不知道Codec Avatars強(qiáng)大的“逼真”畫面在這客觀條件的限制下最終呈現(xiàn)的效果會(huì)如何。

英偉達(dá)正與斯坦福大學(xué)合作，研發(fā)VR超薄全息眼鏡

根據(jù)IDC表示，2021年是AR/VR頭顯市場(chǎng)繼2016年后再度爆發(fā)的一年，相較于5年前，從硬件設(shè)備、技術(shù)水平、內(nèi)容生態(tài)、創(chuàng)作環(huán)境上來說，相較五年前已經(jīng)有了大幅度的提升，行業(yè)生態(tài)更加健康，產(chǎn)業(yè)基礎(chǔ)更為牢固。

根據(jù)IDC《全球AR/VR頭顯市場(chǎng)季度跟蹤報(bào)告，2021年第四季度》，預(yù)計(jì)2022年，全球VR頭顯出貨1，573萬臺(tái)，同比增長(zhǎng)43.6%。再加之受到元宇宙概念的推動(dòng)，使得VR廠商接連推出新品，迭代節(jié)奏明顯加快。

近日，在一份名為《Ultra-thin （2.5 mm） glasses-form factor VR display supporting 3D holographic images》的論文中，英偉達(dá)與斯坦福大學(xué)展示了一種用于VR的超薄全息眼鏡構(gòu)思。

據(jù)悉，該眼鏡可將3D全息圖像所需的技術(shù)封裝到厚度僅有2.5mm的超薄VR顯示器原型。這個(gè)名為Holographic Glasses的全息眼鏡由一個(gè)光瞳復(fù)制波導(dǎo)、一個(gè)空間光調(diào)制器和一個(gè)幾何相位透鏡組成，可以以輕薄的形狀參數(shù)產(chǎn)生全息圖像。

此外，這款全息眼鏡提供22.8 °的對(duì)角視場(chǎng)，2.3毫米靜態(tài)和8毫米動(dòng)態(tài)眼盒，并支持3D 焦點(diǎn)提示，體積更小，而且非常輕巧。

據(jù)外媒稱，該全息眼鏡目前仍處于原型研究階段，圖像質(zhì)量、光瞳直徑與控制以及系統(tǒng)集成方面依然存在提升空間，所以接下來研究人員將繼續(xù)致力于優(yōu)化迭代。

VR頭顯引進(jìn)游戲領(lǐng)域

據(jù)悉，游戲開發(fā)商Render Cube透露其動(dòng)作冒險(xiǎn)游戲《Medieval Dynasty》的VR版本正在制作中，游戲?qū)⒌顷慚eta Quest 2、PCVR和PSVR 2平臺(tái)，預(yù)定的發(fā)售時(shí)間為2023年第一季度。

獨(dú)立團(tuán)隊(duì)Better Than Life近日宣布其皮劃艇模擬游戲《Kayak VR：Mirage》將于6月29日登陸Steam平臺(tái)，支持Valve Index、HTC Vive、Oculus Rift和Windows MR頭顯，發(fā)布時(shí)將包含一些地圖、競(jìng)賽模式和自由漫游選項(xiàng)。

位于美國佛羅里達(dá)州，集購物、餐飲和娛樂于一體的綜合型設(shè)施的迪士尼之泉（Disney Springs）在5月2日～7月21日期間，為來訪游客提供免費(fèi)的VR游戲《星球大戰(zhàn) 銀河邊緣的故事》（Star Wars： Tales from the Galaxy‘s Edge）體驗(yàn)。《星球大戰(zhàn) 銀河邊緣的故事》是由美國工作室ILMxLAB開發(fā)的動(dòng)作冒險(xiǎn)游戲，于2020年11月發(fā)售。

IDC中國終端系統(tǒng)研究部分析師趙思泉認(rèn)為，VR一體機(jī)產(chǎn)品在2022年的出貨仍將依賴游戲內(nèi)容的吸引，廠商需重點(diǎn)關(guān)注內(nèi)容生態(tài)建設(shè)，提升消費(fèi)者購買意愿以及購買后持續(xù)在應(yīng)用商店消費(fèi)的能動(dòng)性。

VR頭顯引進(jìn)汽車領(lǐng)域

近日，微軟正式宣布在HoloLens 2推出“移動(dòng)平臺(tái)”功能，該功能由微軟與大眾汽車合作開發(fā)，旨在讓這個(gè)VR頭顯在汽車等地方工作。

大眾汽車一直嘗試引入頭顯設(shè)備作為車輛的平視顯示器，HoloLens 2一直在迭代優(yōu)化的移動(dòng)平臺(tái)模式克服了將混合現(xiàn)實(shí)設(shè)備應(yīng)用到車輛船舶等移動(dòng)平臺(tái)的限制，并創(chuàng)造了以新方式使用所述技術(shù)的潛力。

車輛引入AR眼鏡難點(diǎn)在于傳感器數(shù)據(jù)的沖突。此前微軟一篇博文透露，AR眼鏡使用相機(jī)傳感器以及慣性測(cè)量單元（IMU）來實(shí)現(xiàn)運(yùn)動(dòng)追蹤。但是在汽車?yán)铮@兩個(gè)傳感器的讀數(shù)可能會(huì)發(fā)生沖突，因?yàn)轭^顯看到的是靜態(tài)環(huán)境，而IMU感知到的則是運(yùn)動(dòng)場(chǎng)景。

此外，據(jù)ETtoday報(bào)道，Meta還宣布在中國臺(tái)灣成立全亞洲第一座“元宇宙 XR Hub Taiwan”，展開 AR 與 VR 計(jì)劃，Meta指出，元宇宙是未來社群科技的核心，Meta將透過 3D 沉浸式互動(dòng)體驗(yàn)增強(qiáng)社群。由于臺(tái)灣的硬件、網(wǎng)絡(luò)等公共基礎(chǔ)架構(gòu)普及，還有優(yōu)秀開發(fā)者，Meta選定臺(tái)灣為發(fā)展元宇宙重要據(jù)點(diǎn)。

這次元宇宙 XR Hub Taiwan 為 Meta 與資策會(huì)一同設(shè)立的社群空間。未來將結(jié)合臺(tái)灣藝術(shù)家與 AR 創(chuàng)作者，透過AR功能，呈現(xiàn)臺(tái)灣文化藝術(shù)、經(jīng)濟(jì)商業(yè)、社會(huì)公益等三大領(lǐng)域的社群互動(dòng)。

本文參考自新浪VR、環(huán)球網(wǎng)、cnBeta、VR陀螺、Disney Springs、IDC等