Facebook人工智能研究院日前通過博文簡述了如何通過集成式機器學習來實現(xiàn)低延遲的移動VR圖形。具體來說，團隊介紹了一個為VR一體機的渲染管道運行機器學習的全新低延遲高效能框架。這個架構(gòu)允許所述設備利用機器學習來顯著提升圖像質(zhì)量和視頻渲染。

研究人員根據(jù)這一框架創(chuàng)建了一個示例應用，它能夠重建更高分辨率的渲染（稱為超分辨率），以最少的計算資源提高移動芯片組的VR圖形保真度。這個全新框架同時可以用于執(zhí)行面向的流式傳輸內(nèi)容時的壓縮偽影去除，幀預測，特征分析，以及針對引導式注視點渲染的反饋。

1. 工作原理

在典型的移動VR渲染系統(tǒng)中，應用引擎在每個幀的開頭檢索運動追蹤數(shù)據(jù)，并使用所述信息為每只眼睛生成圖像。為了支持VR應用的有效工作，系統(tǒng)通常會嚴格限制整個圖形管道的處理時間。例如為了90Hz的刷新率，兩個眼圖緩沖區(qū)的渲染時間預算為11毫秒。

為了克服所述限制，團隊研發(fā)的新架構(gòu)減輕了模型執(zhí)行的負擔，所以專用處理器能夠?qū)崿F(xiàn)異步化。在這種設計中，數(shù)字信號處理器（DSP）或神經(jīng)處理單元（NPU）與圖形處理單元（GPU）實現(xiàn)管道化，并獲取部分渲染緩沖區(qū)或整個渲染緩沖區(qū)以進行進一步的處理。系統(tǒng)異步拾取內(nèi)容，方式是在將其發(fā)送到顯示器之前GPU為延遲補償而扭曲線程。

上圖說明了如何在圖形顯示管道中將DSP的機器學習模型執(zhí)行與其他處理器并行化。

為了提高性能，F(xiàn)acebook修改了操作系統(tǒng)中的圖形內(nèi)存分配系統(tǒng)，將專用分配器用于GPU-DSP共享內(nèi)存。這比直接映射更為有效，因為圖形幀緩沖區(qū)通常是優(yōu)化僅GPU的訪問（并且在CPU上的表現(xiàn)不佳），同時需要特殊的內(nèi)存注冊過程來避免在運行時通過遠程調(diào)用所進行的復制。

團隊使用所述示例應用對管道進行了測試，它應用了深度學習來改善中心區(qū)域的圖像質(zhì)量，但對場景其他部分使用了更高效，分辨率更低的渲染。超分辨內(nèi)容在異步時間扭曲中與周圍區(qū)域混合。如果在每個方向上將分辨率降低大約70％，則可以節(jié)省大約40％的GPU時間，并且開發(fā)者可以使用節(jié)省的資源來生成更優(yōu)的內(nèi)容。為了在VR中實現(xiàn)時間連貫且視覺愉悅的結(jié)果，F(xiàn)acebook通過專門設計的時間損失函數(shù)來訓練循環(huán)網(wǎng)絡。

2. 意義

創(chuàng)建下一代VR和AR體驗需要尋找新的、更有效的方法來渲染高質(zhì)量低延遲圖形。由于時間偽影更易感知，VR頭顯中的低視覺暫留顯示器難以接受傳統(tǒng)的渲染和超分辨率技術(shù)。Facebook人工智能團隊提供了利用AI來幫助移動芯片設備應對所述挑戰(zhàn)的一種新方法。

他們表示：“除了AR/VR應用外，通過消除內(nèi)存限制并在圖像質(zhì)量增強，偽影去除和幀外推等方面實現(xiàn)其他創(chuàng)新，我們相信這個新框架可以為移動計算圖形領(lǐng)域的創(chuàng)新打開大門。”

編輯：hfy