從選擇合適的算力、冷卻系統(tǒng)，到將所有組件裝進(jìn)一個(gè)很小的外殼中，同時(shí)還要降低成本，虛擬現(xiàn)實(shí)（VR）系統(tǒng)的設(shè)計(jì)人員面臨許多挑戰(zhàn)。最主要的挑戰(zhàn)也許是人機(jī)工程學(xué)，即確保用戶頭戴設(shè)備的舒適性。許多VR在設(shè)計(jì)中都考慮了外形尺寸，因?yàn)槿绻鸙R設(shè)備太重或使用中過(guò)熱，用戶根本就不會(huì)用它。

在Facebook從事Oculus VR產(chǎn)品開(kāi)發(fā)的VR硬件產(chǎn)品經(jīng)理Prabhu Parthasarathy認(rèn)為，人機(jī)工程學(xué)在VR設(shè)計(jì)中“至關(guān)重要”，它需要硬件、軟件和技術(shù)的完美結(jié)合。

Parthasarathy說(shuō)：“在設(shè)計(jì)任何產(chǎn)品時(shí)，我們都不會(huì)孤立地來(lái)看某個(gè)組件，而是從整體上考慮我們想要獲得的產(chǎn)品體驗(yàn)，包括其獨(dú)特的用戶和用例。”

Parthasarathy同時(shí)也承認(rèn)，只有當(dāng)軟件和硬件結(jié)合時(shí)才會(huì)產(chǎn)生“魔力”。

“魔力表現(xiàn)在兩個(gè)方面，一是編寫(xiě)軟件，使它提供魔法般的體驗(yàn)，這是非常困難的部分；而另一部分則是要符合人體工程學(xué)，將一切都完美契合在設(shè)備中，讓用戶忘記硬件，感受虛擬世界。”

從頭說(shuō)起

VR系統(tǒng)有幾種類(lèi)型，從PC專(zhuān)用VR系統(tǒng)到VR一體機(jī)。PC專(zhuān)用VR系統(tǒng)中的頭戴設(shè)備是連接到PC的，所有游戲和圖形處理的繁重工作都由PC完成；而VR一體機(jī)則在頭戴設(shè)備中運(yùn)行所有軟件。

Oculus VR就是VR一體機(jī)的典范。Oculus公司曾在2012年提出，要讓所有人都買(mǎi)得起VR。兩年后，F(xiàn)acebook以20億美元的價(jià)格收購(gòu)了Oculus，盡管那時(shí)它只有一個(gè)頭戴設(shè)備原型。

Parthasarathy解釋道，F(xiàn)acebook看到了機(jī)會(huì)，他們認(rèn)為，人們最終將只在虛擬的世界和社區(qū)中進(jìn)行交流，人與人之間的聯(lián)系會(huì)自然發(fā)展到這種情形。

Oculus公司的第一款產(chǎn)品是PC VR系統(tǒng)，Oculus Rift，它讓用戶可以在PC上運(yùn)行專(zhuān)為VR體驗(yàn)而開(kāi)發(fā)的游戲。使用這種系統(tǒng)，游戲開(kāi)發(fā)人員就不會(huì)因?yàn)橛螒虼笮』驁D形種類(lèi)而受到限制；借助外部傳感器，系統(tǒng)可以確定玩家在現(xiàn)實(shí)世界中的位置，并將其轉(zhuǎn)換至虛擬世界。

Oculus公司隨后推出了Oculus Go，這是該公司第一款不受限制的VR一體機(jī)。其軟件完全在頭戴設(shè)備中運(yùn)行，但它受限于3自由度（DoF）方向追蹤。3DoF系統(tǒng)可以追蹤三個(gè)軸，在VR頭戴設(shè)備中，它可以檢測(cè)玩家向左/向右移動(dòng)、或上下左右旋轉(zhuǎn)頭部的動(dòng)作。

但是，它不能追蹤前進(jìn)和后退，或者蹲下與站立。只有6DoF才能實(shí)現(xiàn)這些動(dòng)作的追蹤，而這對(duì)系統(tǒng)軟硬件和成本都有很大影響。6DoF檢測(cè)六個(gè)軸上的位置：向前/向后、向左/向右和向上/向下。這樣的追蹤系統(tǒng)可能很復(fù)雜，需要額外的硬件和軟件，從而增加了成本。

Oculus Quest是該公司最近的創(chuàng)新產(chǎn)品，是其首款采用觸控控制器的6DoF VR一體機(jī)。它將之前的兩種系統(tǒng)很好地結(jié)合起來(lái)，需要硬件和軟件團(tuán)隊(duì)之間的緊密合作。

VR系統(tǒng)組成

Parthasarathy以O(shè)culus Quest VR系統(tǒng)為例，向我們綜合介紹了VR系統(tǒng)設(shè)計(jì)的關(guān)鍵元器件。

像許多產(chǎn)品一樣，計(jì)算系統(tǒng)的核心是處理器，Oculus的工程團(tuán)隊(duì)選擇了高通移動(dòng)芯片組驍龍835作為其計(jì)算系統(tǒng)的核心。驍龍835載有8個(gè)內(nèi)核，時(shí)鐘頻率高達(dá)2.45 GHz，并配有Adreno 540 GPU。Oculus在設(shè)計(jì)該系統(tǒng)時(shí)使用了一個(gè)新型冷卻系統(tǒng)，CPU可以在更高的時(shí)鐘頻率下運(yùn)行，從而優(yōu)化了芯片性能。稍后我們?cè)僭敿?xì)介紹這個(gè)冷卻系統(tǒng)。

如果說(shuō)處理器是系統(tǒng)的核心，那Oculus最大的亮點(diǎn)就是其追蹤系統(tǒng)。

為使追蹤工作正常進(jìn)行，Quest設(shè)計(jì)師開(kāi)發(fā)了Oculus Insight內(nèi)向外追蹤系統(tǒng)，這是該公司最具競(jìng)爭(zhēng)力也最具創(chuàng)新的部分。由于頭戴設(shè)備中的傳感器（攝像頭）能夠檢測(cè)到控制器的移動(dòng)，用戶在現(xiàn)實(shí)世界中的動(dòng)作才得以即刻反映在虛擬世界中。

Oculus Insight追蹤系統(tǒng)使用了大量來(lái)自慣性測(cè)量單元（IMU）、超廣角攝像頭和紅外LED的數(shù)據(jù)，以追蹤VR頭戴設(shè)備和控制器的6DoF位置。

Parthasarathy說(shuō)，它是一個(gè)復(fù)雜的系統(tǒng)，由傳感器、IMU等硬件以及傳感器融合、計(jì)算機(jī)視覺(jué)算法等軟件組成。

Oculus Insight 內(nèi)向外追蹤系統(tǒng)的核心是同步定位與地圖構(gòu)建（SLAM），它利用計(jì)算機(jī)視覺(jué)算法“融合”由多個(gè)傳感器輸入的數(shù)據(jù)，以確定目標(biāo)在不斷更新的數(shù)字地圖中的位置。它還使用其他傳感器數(shù)據(jù)，例如來(lái)自頭戴設(shè)備和控制器中IMU加速度和速度數(shù)據(jù)，這些數(shù)據(jù)在移動(dòng)芯片組上進(jìn)行實(shí)時(shí)處理。

Oculus Insight包含四個(gè)超廣角傳感器，用于分析頭戴設(shè)備的外部環(huán)境；它還采用計(jì)算機(jī)視覺(jué)算法來(lái)實(shí)時(shí)追蹤精確定位。該系統(tǒng)全方位追蹤玩家的移動(dòng)，并精確定位兩個(gè)手持控制器和頭戴設(shè)備的位置。

Parthasarathy說(shuō)：“Insight利用傳感器輸入的信息創(chuàng)建玩家環(huán)境的3D地圖，將玩家的位置移動(dòng)精確地轉(zhuǎn)換至VR，同時(shí)確保玩家安全地置身游戲限定的空間邊界以內(nèi)，從而獲得奇妙的沉浸式體驗(yàn)。”

數(shù)字信號(hào)處理的優(yōu)化包括地圖的異步更新，它根據(jù)用戶環(huán)境中背景的變化來(lái)更新地圖。IMU獨(dú)立運(yùn)行，其輸出數(shù)據(jù)存儲(chǔ)在內(nèi)存緩沖區(qū)中，以最大限度減少系統(tǒng)延遲。

接下來(lái)說(shuō)說(shuō)視覺(jué)系統(tǒng)，也就是顯示器和光學(xué)器件。Oculus在一些產(chǎn)品中采用了LCD技術(shù)， Quest則使用OLED技術(shù)。OLED顯示器可以提供72Hz的刷新頻率，以及1600×1440的每眼分辨率。Quest還提供鏡頭間距調(diào)節(jié)功能，以增加視覺(jué)舒適度。

Parthasarathy說(shuō)：“要得到身臨其境的VR體驗(yàn)，其關(guān)鍵因素之一就是鏡頭。Oculus Insight采用的菲涅耳透鏡非常特別，它可以根據(jù)頭戴設(shè)備的尺寸和形狀以及想要的各種體驗(yàn)進(jìn)行定制。”

“在為Quest這樣一個(gè)無(wú)線頭戴設(shè)備選擇合適的顯示屏?xí)r，我們考慮的是，功率要比較低，視覺(jué)效果還要出色，OLED顯示屏與我們的一流鏡頭相結(jié)合便可完美滿足這些要求。在Oculus Go中，我們也使用了相同的顯示屏。” Parthasarathy補(bǔ)充道。

再來(lái)說(shuō)說(shuō)無(wú)線器件。由于Oculus Quest是獨(dú)立系統(tǒng)，因此使用了Wi-Fi。除此之外，它還需要其他通信器件，特別是對(duì)于兩個(gè)手持式控制器，需要近乎實(shí)時(shí)地與頭戴設(shè)備進(jìn)行通信。

實(shí)時(shí)功能是一個(gè)巨大的挑戰(zhàn)，它減少了將玩家在現(xiàn)實(shí)世界中的動(dòng)作轉(zhuǎn)換至虛擬世界的延遲。

Parthasarathy說(shuō)：“ VR的魔力在于，玩家在現(xiàn)實(shí)世界中的身體移動(dòng)，幾乎可以即時(shí)呈現(xiàn)在虛擬世界中。如果現(xiàn)實(shí)世界中的動(dòng)作與虛擬世界中所看到的動(dòng)作之間存在時(shí)間差，當(dāng)體驗(yàn)太糟時(shí)玩家便會(huì)棄之不用。”

為了減少延遲，Quest設(shè)計(jì)人員開(kāi)發(fā)了他們自己的協(xié)議，以實(shí)現(xiàn)控制器和頭戴設(shè)備之間的通信。藍(lán)牙低功耗（BLE）是延遲最小的協(xié)議之一，其延遲時(shí)間約為7.5ms，“與之相比，Quest頭戴設(shè)備與控制器之間的通信延遲時(shí)間約為2.5ms，這非常棒。”P(pán)arthasarathy表示。

再來(lái)說(shuō)一說(shuō)功率。Parthasarathy介紹，VR的一個(gè)關(guān)鍵是要帶給人們無(wú)阻礙的體驗(yàn)，這意味著電池續(xù)航時(shí)間要足夠長(zhǎng)，讓他們完成想做的事情。

這并不是說(shuō)在設(shè)備中放一塊大電池就可以了，Parthasarathy 補(bǔ)充道，“我們必須使用容量足夠大的電池來(lái)提供這些體驗(yàn)，但它又不能太重，以免降低設(shè)備的舒適性。”

Parthasarathy說(shuō)Quest采用了定制電池組，但并未透露細(xì)節(jié)。可充電電池技術(shù)并不是什么獨(dú)特的技術(shù)，不過(guò)電池的大小必須符合頭戴設(shè)備的要求。

文檔顯示，Quest采用3648mA可充電鋰離子電池組，額定功率為14W。雙電芯電池的標(biāo)稱(chēng)電壓為3.6 V，重約70g。

Parthasarathy表示，Oculus主要使用現(xiàn)成技術(shù)，這通常需要設(shè)計(jì)人員與器件供應(yīng)商緊密合作。無(wú)論是電池、顯示屏還是其他器件，為了滿足需求，通常還需要進(jìn)一步定制。

例如，用于追蹤系統(tǒng)的許多元器件都是現(xiàn)成的器件，如紅外LED。但在其他情況下，還需要對(duì)器件（如IMU）進(jìn)行一些調(diào)整。

Parthasarathy說(shuō)：“我們采用的IMU通常也是現(xiàn)成的，但由于對(duì)追蹤的要求非常嚴(yán)格，所以有時(shí)候我們會(huì)去找供應(yīng)商，在他們的產(chǎn)品規(guī)格90％都符合我們需求的情況下，請(qǐng)他們讓剩下的10％更加符合我們獨(dú)特的系統(tǒng)要求。我們并不想為每一個(gè)功能定制硬件，所以會(huì)盡量嘗試?yán)矛F(xiàn)成的元器件。”

他說(shuō)：“Oculus Quest中沒(méi)有多少元器件可以拿來(lái)就用，找到供應(yīng)商只說(shuō)一句給我們一些零件，然后將它們集成到系統(tǒng)中，這樣是行不通的。通常，我們需要針對(duì)這些組件，例如光學(xué)器件和顯示屏，與供應(yīng)商進(jìn)行非常密切的合作。”

另一個(gè)例子是系統(tǒng)冷卻，這是VR系統(tǒng)的一大設(shè)計(jì)挑戰(zhàn)。Oculus Quest結(jié)合了風(fēng)扇、散熱器和非常“新穎的架構(gòu)”，實(shí)現(xiàn)了良好的散熱，從而避免設(shè)備發(fā)燙。

它采用主動(dòng)式風(fēng)扇冷卻系統(tǒng)來(lái)調(diào)節(jié)溫度，使Quest可以在高得多的時(shí)鐘頻率下持續(xù)工作，從而更有效地利用高通驍龍835 SoC。除主動(dòng)式混合風(fēng)扇技術(shù)外，該系統(tǒng)還包括一個(gè)熱管以及定制散熱通道。

一旦滿足了硬件要求，接下來(lái)的重要任務(wù)便是推動(dòng)Oculus產(chǎn)品的軟件創(chuàng)新。 Parthasarathy提到，要?jiǎng)?chuàng)造更誘人的新體驗(yàn)，首先要令硬件全面滿足性能指標(biāo)，然后再利用軟件來(lái)進(jìn)行突破。

“軟件創(chuàng)新可以幫助我們將硬件潛力發(fā)揮到極致，同時(shí)為玩家提供越來(lái)越好的體驗(yàn)。” 他說(shuō)，“這是我們關(guān)注的重點(diǎn)。”

Parthasarathy舉例說(shuō)，最初在Rift S上提供的透?jìng)鳎≒assthrough+）功能，就可以讓玩家在VR里看到周?chē)h(huán)境的實(shí)時(shí)立體校正視圖。例如，玩家在戴著頭戴設(shè)備的情況下，能夠“透過(guò)”傳感器看清周?chē)沫h(huán)境。

“在Quest上實(shí)現(xiàn)這一功能，得益于先進(jìn)的高性能圖像處理和3D計(jì)算技術(shù)的支持。一旦超出游戲空間的邊界，Passthrough+即會(huì)開(kāi)啟，確保玩家能夠輕松返回。”

整體權(quán)衡

人體工程學(xué)是一個(gè)重要的設(shè)計(jì)概念，在很多情況下，它與VR系統(tǒng)元器件的選擇密切相關(guān)。為了獲得最佳設(shè)計(jì)，要綜合考慮所有因素，對(duì)VR系統(tǒng)的所有關(guān)鍵元器件進(jìn)行設(shè)計(jì)權(quán)衡與折衷。

Parthasarathy說(shuō)，Oculus Quest設(shè)計(jì)實(shí)際上是要找到一種恰當(dāng)?shù)钠胶猓环矫嬉@得完全沉浸式的體驗(yàn)和舒適感，另一方面還要采用合適的硬件，使追蹤功能完善、電池壽命足夠長(zhǎng)、顯示效果足夠好。

他說(shuō)，試想一下，“你是想要一個(gè)戴在頭上的設(shè)備，還是想要一個(gè)具有同樣沉浸體驗(yàn)的太陽(yáng)鏡呢？恐怕每個(gè)人都想要太陽(yáng)鏡這樣的設(shè)備。可惜的是，像太陽(yáng)鏡這種大小的設(shè)備，不太可能在滿足處理、電池以及豐富的光學(xué)和顯示技術(shù)的同時(shí)還具有足夠的舒適度。”

Parthasarathy指出：“最大的挑戰(zhàn)并不是人體工程學(xué)本身，而在于要提供吸引人的體驗(yàn)就必須考慮系統(tǒng)的方方面面。”

“如果只是想改善人體工程學(xué)很容易，就好像壓一下單側(cè)杠桿。但這樣做會(huì)影響設(shè)備的其他方面，因此，一切都要取得折衷。”

最初的VR是將所有東西都放在PC上，現(xiàn)在設(shè)計(jì)人員正嘗試不依賴(lài)PC的大功率、顯卡或大型冷卻系統(tǒng)，卻能獲得類(lèi)似的體驗(yàn)。

“為了在獨(dú)立式VR頭戴一體機(jī)中獲得類(lèi)似的體驗(yàn)，需要進(jìn)行大量的工作，還需要非常獨(dú)特的技術(shù)，例如采用固定注視點(diǎn)渲染技術(shù)，我們可以巧妙地減少工作量，而開(kāi)發(fā)人員卻能夠充分利用GPU制作出色的游戲。”P(pán)arthasarathy說(shuō)。

“如果你問(wèn)一問(wèn)系統(tǒng)工程師就會(huì)知道，他們?cè)诶鋮s、計(jì)算、幀率以及運(yùn)行頻率之間進(jìn)行了大量的折衷。”他說(shuō)，“這種折衷太多了，我們會(huì)一點(diǎn)一點(diǎn)地減少。”

目前Oculus在努力改善圖形和游戲體驗(yàn)，讓玩家享受與PC媲美的體驗(yàn)。其最近的一項(xiàng)創(chuàng)新是系統(tǒng)中不再使用控制器。去年底，Oculus開(kāi)發(fā)了一個(gè)SDK，玩家無(wú)需控制器或其他外圍設(shè)備，而是使用自己的雙手來(lái)控制，這是前所未有的游戲體驗(yàn)。

Quest的計(jì)算機(jī)視覺(jué)團(tuán)隊(duì)只需在Quest上使用單色攝像頭，再利用深度學(xué)習(xí)就能了解玩家手指的位置。Oculus解釋說(shuō)，這項(xiàng)技術(shù)創(chuàng)建了一組3D點(diǎn)，可以準(zhǔn)確呈現(xiàn)玩家在VR中的手和手指的移動(dòng)。

在實(shí)現(xiàn)手勢(shì)追蹤時(shí)，軟件發(fā)揮了重要作用。Parthasarathy說(shuō)：“通過(guò)軟件創(chuàng)新，我們可以開(kāi)啟全新的輸入和交互模式，而無(wú)需任何新硬件。對(duì)移動(dòng)芯片組來(lái)說(shuō)，這是一個(gè)巨大的挑戰(zhàn)。”

“為了實(shí)現(xiàn)這一功能，我們的計(jì)算機(jī)視覺(jué)團(tuán)隊(duì)開(kāi)發(fā)了一種新方法，利用Quest內(nèi)置的單色攝像頭，通過(guò)深度學(xué)習(xí)來(lái)了解玩家手指的位置，而不需要主動(dòng)深度感知攝像頭、額外的傳感器或者處理器。”

“相反，將深度學(xué)習(xí)與基于模型的追蹤相結(jié)合，可以預(yù)測(cè)用戶手和手上各點(diǎn)的位置，然后在3D模型中重建用戶手和手指的‘姿勢(shì)’。”他說(shuō)，“而這一切都在移動(dòng)處理器中完成，不必耗用屬于用戶應(yīng)用的資源。”

從長(zhǎng)遠(yuǎn)來(lái)看，VR設(shè)計(jì)師仍然面臨許多設(shè)計(jì)挑戰(zhàn)，例如設(shè)計(jì)外形更小、更舒適的頭戴設(shè)備，同時(shí)仍提供相同的VR體驗(yàn)以及更長(zhǎng)的電池壽命。其中有些是由用戶驅(qū)動(dòng)的，例如，大約400至500美元的合理價(jià)位。

Parthasarathy說(shuō)：“我們正努力尋找最有效的方法來(lái)持續(xù)改善用戶體驗(yàn)，滿足用戶的需要，同時(shí)突破技術(shù)限制使之更易實(shí)現(xiàn)。我們可以用2500美元或3000美元的頭戴設(shè)備解決這些問(wèn)題，但這并非我們的初衷。我們希望大多數(shù)人能用VR。”