位于赫爾辛基的初創(chuàng)公司Varjo曾展示過(guò)AR透視組件和“人眼分辨率”VR頭顯，并參展了于5月召開(kāi)的增強(qiáng)現(xiàn)實(shí)國(guó)際展（AWE），而AR硬件/軟件企業(yè)Rave的首席科學(xué)家Karl Guttag參加了這次大會(huì)，并于日前分享了他的經(jīng)歷。以下是小編的具體整理：

1. 介紹

我早就應(yīng)該分享2018年5月底在增強(qiáng)現(xiàn)實(shí)國(guó)際展（AWE）的經(jīng)歷。在2017年撰寫(xiě)了兩篇文章后，我很想看看Varjo的技術(shù)。Varjo在最近的新聞中宣布完成了3100萬(wàn)美元的B輪融資，而他們非常好人，邀請(qǐng)我前往套房體驗(yàn)一些演示內(nèi)容，并允許我自由拍攝照片。

我希望知道的事情是：1.實(shí)際效果如何；2.他們是否已經(jīng)解決 眼動(dòng)追蹤 和注視點(diǎn)顯示圖像運(yùn)動(dòng)（我在2017年的文章中曾表示質(zhì)疑）。答案是：1.當(dāng)你目視前方時(shí)，效果非常優(yōu)秀，但如果朝四周看，你會(huì)看到邊界；2.“不完全如此”。

盡管未能體驗(yàn)Varjo的眼動(dòng)追蹤和顯示運(yùn)動(dòng)演示令人感到失望，但我確實(shí)欣賞他們的透視AR演示，在一定程度上可以說(shuō)相當(dāng)驚艷。這家公司表示，他們剛好在國(guó)際展之前準(zhǔn)備好了這個(gè)AR演示內(nèi)容。雖然有點(diǎn)原始，但它仍然有效地說(shuō)明了Varjo的概念設(shè)計(jì)。

2. 注視點(diǎn)顯示器

注視點(diǎn)顯示技術(shù)主要依賴于人類視覺(jué)僅在眼睛中心具有高分辨率。這個(gè)概念將以高分辨集中渲染眼睛注視位置的圖像，而在其他位置則以低分辨率填充。Varjo將用于VR頭顯的大型平板顯示器，以及用于“注視點(diǎn)”顯示器的小型 OLED 微顯示屏相結(jié)合，并利用分束鏡將兩個(gè)圖像組合在一起。

理論上，分束器應(yīng)該不斷移動(dòng)，令來(lái)自O(shè)LED微顯示器的圖像追蹤眼睛。盡管理論上很容易實(shí)現(xiàn)，但在實(shí)踐中卻很難解決，而且是Varjo沒(méi)有公開(kāi)演示的部分。當(dāng)我在大會(huì)期間詢問(wèn)為什么不進(jìn)行演示時(shí)，Varjo有點(diǎn)莫名其妙地談到了實(shí)驗(yàn)室原型存在噪音的原因，而人們對(duì)靜態(tài)（固定反射鏡和眼動(dòng)追蹤）版本非常興奮，所以他們決定專注于這一點(diǎn)。

3. 靜態(tài)的注視點(diǎn)顯示器

這次演示從他們的靜態(tài)注視點(diǎn)顯示器開(kāi)始，其包括一個(gè)搭載靜態(tài)光束組合器和微顯示器的VR頭顯版本。如果你直視前方，它確實(shí)“有效”，而且圖像質(zhì)量與Varjo于2017年公布的通過(guò)實(shí)際光學(xué)系統(tǒng)拍攝的圖片一致。

Varjo演示了一系列的圖片，而正如我以往的博文一樣，彩色顯示器往往最難應(yīng)付一張簡(jiǎn)單的黑白測(cè)試圖。下面就是這樣一種測(cè)試圖。相機(jī)確實(shí)傾向于夸大了注視點(diǎn)顯示圖像與平板顯示圖像的過(guò)渡，因?yàn)楫?dāng)你直視前方時(shí)，只有眼睛一部分能看到這個(gè)區(qū)域，而且分辨率要低得多。

我在中心區(qū)域注意到的一個(gè)問(wèn)題是，這里出現(xiàn)了一定的色差。對(duì)于注視點(diǎn)顯示器，一個(gè)基本問(wèn)題是外圍圖像（低分辨率）與注視點(diǎn)圖像（高分辨率）都必須通過(guò)相同的主透鏡。他們使用的透鏡可能對(duì)外圍圖像來(lái)說(shuō)已經(jīng)足夠好，但對(duì)于注視點(diǎn)圖像而言畫(huà)質(zhì)太低，因此你可以看到色差。

幫我審閱與校對(duì)本文的羅恩·潘森斯基（Ron Panzensky)評(píng)論道，盡管演示內(nèi)容給他留下了深刻的印象，但他認(rèn)為高分辨到底分辨率的過(guò)渡非常突兀。我在撰寫(xiě)第二篇關(guān)于Varjo的文章時(shí)已經(jīng)提到這個(gè)問(wèn)題。另外因?yàn)橄嗤脑颍狈ψ粉櫼馕吨劬梢砸苿?dòng)并注意到追蹤。

下一張照片是一個(gè)更復(fù)雜的場(chǎng)景，而我沒(méi)有注意到任何問(wèn)題。圖像的復(fù)雜性有助于隱藏任何明顯的缺陷（容易在平坦的白色背景上發(fā)現(xiàn)）。與此同時(shí)，你可以看到注視點(diǎn)區(qū)域的高分辨率（以紅點(diǎn)表示）。

4. 透視AR顯示

我認(rèn)為Varjo的透視AR演示尤其有趣。頭顯前端搭載了兩個(gè)攝像頭，房間為運(yùn)動(dòng)追蹤進(jìn)行了設(shè)置。我相信他們對(duì)這個(gè)演示仍然采用了在光學(xué)方面經(jīng)過(guò)修改調(diào)整的 Oculus Rift 頭顯。當(dāng)你戴上頭顯后，你會(huì)看到房間中出現(xiàn)了一個(gè)3D版本的摩托車，你可以走進(jìn)它，環(huán)繞它走動(dòng)，而這輛3D摩托車在房間中的表現(xiàn)十分逼真。跟光學(xué)AR不同（如 Magic Leap 和 HoloLens ），虛擬對(duì)象看起來(lái)十分穩(wěn)定，沒(méi)有鬼影。你很難區(qū)分真實(shí)與虛擬。

當(dāng)你直視前方的時(shí)候，你會(huì)看到一個(gè)看似極高分辨率的圖像，這增加了摩托車就在現(xiàn)場(chǎng)的感覺(jué)。但對(duì)于摩托車計(jì)算機(jī)模型的某些特征，它們實(shí)際上可以采用更多的多邊形，因?yàn)橐恍┣€似乎變成了線段，如摩托車后視鏡的后面。

對(duì)于上面的裁剪圖和下面的大圖，我用紅點(diǎn)粗略地勾勒了注視點(diǎn)圖像的邊界。通過(guò)相機(jī)你可以看到其中的過(guò)渡，但在正視前方時(shí)看不到。

盡管我從頭部運(yùn)動(dòng)到圖像改變之間沒(méi)有注意到明顯的延遲，但我在演示過(guò)程中沒(méi)有非常特意地關(guān)注這個(gè)問(wèn)題。我同時(shí)沒(méi)有關(guān)注注視點(diǎn)顯示區(qū)域的真實(shí)世界情景，但這將顯然受限于攝像頭的分辨率。

5. 對(duì)光學(xué)AR很難的事情通常對(duì)透視AR而言都很輕松，反過(guò)來(lái)也一樣

我想特別說(shuō)明的是，與光學(xué)AR相比，透視AR存在其優(yōu)點(diǎn)與缺點(diǎn)。對(duì)于透視AR而言，光學(xué)AR的一些最困難挑戰(zhàn)幾乎可以說(shuō)是不值一提。

透視AR在不透明度和硬邊緣遮擋方面具有主要優(yōu)勢(shì)，平衡虛擬世界和現(xiàn)實(shí)世界之間的亮度也更容易，而且光學(xué)元件通常也更簡(jiǎn)單。

但與光學(xué)AR相比，透視AR同時(shí)存在許多嚴(yán)重的缺點(diǎn)。沒(méi)有顯示器可以匹配人類視覺(jué)系統(tǒng)。輸入和輸出之間總會(huì)有一定的延遲。現(xiàn)實(shí)世界的焦點(diǎn)沒(méi)有正確改變，導(dǎo)致視覺(jué)輻輳調(diào)節(jié)沖突。透視AR頭顯將變得更加龐大，并且完全格擋用戶對(duì)現(xiàn)實(shí)世界的直接視覺(jué)感知，從而隔離用戶。

6. 靜態(tài)注視點(diǎn)顯示器可以帶來(lái)99%的視覺(jué)沖擊，但可能只有1%算得上是解決方案

根據(jù)Varjo在AWE 2018大會(huì)的說(shuō)法，他們推遲了優(yōu)化眼動(dòng)追蹤和顯示器運(yùn)動(dòng)，并專注于構(gòu)建靜態(tài)版本的注視點(diǎn)顯示器。這與他們?cè)缜暗难哉撆c官網(wǎng)的文字有所沖突：“通過(guò)實(shí)時(shí)追蹤你的眼睛，Bionic Display能夠?qū)崿F(xiàn)無(wú)縫和完全精確的圖像，遠(yuǎn)超于當(dāng)前市場(chǎng)上的任何產(chǎn)品。”

當(dāng)然，“靜態(tài)”（非眼動(dòng)追蹤）注視點(diǎn)顯示器可以給人留下非常好的第一印象，因?yàn)橛脩裟軌蚋兄椒浅８叻直媛实膱D像。但只局限于用戶直視前方，并且只有很少的眼球運(yùn)動(dòng)。如果視場(chǎng)中出現(xiàn)了像文本這樣的細(xì)節(jié)，用戶就會(huì)知道只有中心位置是清晰可見(jiàn)。

遺憾的是，只有眼動(dòng)追蹤才能準(zhǔn)確地令一切在光學(xué)上協(xié)同運(yùn)作，包括令所有對(duì)象焦點(diǎn)對(duì)準(zhǔn)，而這是注視點(diǎn)顯示器問(wèn)題的最困難部分。眼動(dòng)追蹤存在一系列難以解決的問(wèn)題，如軟件/算法，移動(dòng)注視點(diǎn)圖像，以及整體光學(xué)元件。

7. 總結(jié)

有充分的理由相信注視點(diǎn)渲染可能會(huì)用于減少VR頭顯的計(jì)算負(fù)荷。諸如英偉達(dá)和 微軟 正在發(fā)表有關(guān)采用大型平板顯示器的研究論文。這些顯示器采用傳統(tǒng)的平板顯示器，并簡(jiǎn)單地根據(jù)眼動(dòng)追蹤改變計(jì)算。

小型平板顯示器需要繼續(xù)減小像素尺寸，這反過(guò)來(lái)又可用于改善角分辨率。第一代VR頭顯（如 Oculus ? Rift ）達(dá)到每像素約為4.4弧分，而Oculus Quest則是每像素約為3弧分。盡管大多數(shù)設(shè)計(jì)師的“目標(biāo)”是每像素約1弧分，但通常來(lái)說(shuō)，每像素約1.5弧對(duì)于大多數(shù)實(shí)際用例而言已經(jīng)“足夠好”，特別是游戲。

問(wèn)題在于，在平板顯示器能支持“足夠好的”角度分辨率之前，在光學(xué)移動(dòng)的注視點(diǎn)區(qū)域顯示變得實(shí)用之前，具備移動(dòng)的眼動(dòng)追蹤高分辨率區(qū)域的“物理”注視點(diǎn)顯示是否切實(shí)可行。
?