來源：AI公園作者：Nico Klingler編譯：ronghuaiyang

導讀

增強現實(AR)和虛擬現實(VR)正在徹底改變我們與外部世界的互動方式。即便是在引人入勝的沉浸式敘事和交互體驗背后，這一切魔法都是通過尖端技術的精妙協調創造出來的。

增強現實(AR)與虛擬現實(VR)：計算機視覺引領混合現實體驗

增強現實(AR)和虛擬現實(VR)正在徹底改變我們與外部世界的互動方式。即便是在引人入勝的沉浸式敘事和交互體驗背后，這一切魔法都是通過尖端技術的精妙協調創造出來的。

計算機視覺是其中的主要推動力，它默默地但強有力地引導著虛擬世界與現實世界之間的順暢過渡。在本文中，我們將帶你深入了解計算機視覺在混合現實中的應用：

AR/VR基礎知識及關鍵技術

應知的挑戰

重要的實際應用

最佳開源項目

AR和VR領域的頂級AI視覺趨勢

計算機視覺在AR和VR中的基礎

理解、分析并自動從數字圖像和視頻中提取數據是人工智能(AI)子領域計算機視覺的重點。增強現實(AR)和虛擬現實(VR)這兩種沉浸式技術正在深刻改變我們與環境的互動方式。而這些技術在很大程度上依賴于計算機視覺。

計算機視覺(CV)是能夠轉變行業并增強日常體驗的基礎構建塊。這項技術通過在數字世界與物理世界之間架起橋梁，創造了無縫、沉浸式的AR和VR體驗。

在增強現實(AR)中，計算機視覺被用于：

物體檢測用于識別視覺數據中的物體

物體跟蹤用于理解物體的移動、計數人群和物體

同時定位與地圖構建(SLAM)使機器人能夠在地圖上定位自身

在虛擬現實(VR)中，計算機視覺被用于：

手部姿態估計和手勢跟蹤

視線跟蹤和注視識別

空間映射和點云技術

用于視線跟蹤的計算機視覺系統

高級追蹤與空間映射

為了實現流暢且沉浸式的AR/VR體驗，精確的追蹤與空間映射至關重要。這些技術使系統能夠識別三維空間中物體的形狀、位置和朝向。這些信息被用來創建各種增強現實和虛擬現實應用。具體例子包括：

精確物體放置。虛擬物體可以準確地放置并固定在現實世界中，實現真實的互動和遮擋效果。

自然導航。用戶可以在虛擬環境中自由移動或操縱物體，因為系統會追蹤他們的動作和手勢。

增強現實疊加。信息和圖形可以無縫地疊加到現實世界中，與實體對象和表面對齊。

沉浸式物體識別與互動

創建完全沉浸式的增強現實和虛擬現實體驗需要對物體檢測和互動有基礎的理解。這些技術讓用戶能夠輕松地與虛擬物體互動，就像它們真實存在一樣，從而提供了一種新的參與度和真實感。

接下來，我們將探討一些最受歡迎的AR/VR技術，這些技術推動了沉浸式物體互動和識別的極限。

沉浸式物體識別與互動

Occlusion-Aware Rendering（遮擋感知渲染）

為了讓增強現實體驗顯得可信，虛擬物體必須能夠準確地與現實世界的物體互動并產生遮擋效果。因此，我們需要精確的深度估計和場景理解，以確定哪些物體位于其他物體前面，并相應地調整顯示。

這可以通過使用深度感應攝像頭進行立體視覺，以及基于學習的方法來實現。

計算機視覺技術可以增強和優化虛擬現實環境中的深度視覺圖像，以實現更加沉浸式的用戶體驗

實時物體操控

讓用戶能夠像對待真實物體那樣拾取、移動和與虛擬物體互動是沉浸式AR/VR體驗的關鍵。這需要準確的物體識別、姿態估計、實時物理模擬，以及諸如碰撞檢測與響應、抓取與操控技巧以及觸覺反饋等關鍵技術。

表面檢測與追蹤

準確地檢測和追蹤現實世界的表面使虛擬元素能夠有效地附著并與之互動，從而在AR中創造出自然而直觀的互動。

多模態物體識別與互動

結合來自多個傳感器（相機、LiDAR、IMU）的信息可以帶來更強大和準確的物體識別與互動，特別是在具有挑戰性的環境中。例如，LiDAR數據可以提供準確的深度信息，而相機則提供了豐富的紋理和顏色細節。

物體屬性與行為識別

識別物體的屬性和行為（例如硬度、重量、易碎性）可以進一步增強互動的真實感。這可以通過分析物體形狀、材質以及過去與物體的互動通過機器學習技術來實現。

實時手勢識別

實時手勢識別是AR/VR中直觀和自然互動的核心。通過解讀手部和身體的動作，用戶可以控制虛擬物體、導航環境并在這些沉浸式世界中表達自己。接下來，我們將深入探討塑造這一激動人心領域的技術和應用：

手部姿態估計

手勢識別的基礎在于準確理解手部的姿態和配置。這是通過各種技術實現的：

混合方法。將標記法和無標記法相結合，通常使用標記進行初始校準和粗略追蹤。無標記方法提供了手指運動更精細的細節。

基于標記的追蹤。無需使用計算機視覺，而是將物理的小標記附著在手套或手指上以測量和追蹤它們的移動。雖然簡單可靠，但這可能較為笨重且限制了自然的手勢。

無標記追蹤。利用計算機視覺算法直接從相機圖像分析手部姿勢。深度學習模型通過在大量手部圖像數據集上的訓練實現了令人印象深刻的準確性，但需要相當大的計算資源。

手勢識別與分類

一旦手部姿態被估計出來，就需要根據它們的意義來識別和分類手勢。這包括：

手勢庫。預定義的一組常見手勢及其關聯的手部姿態用于簡單的識別任務。

機器學習模型。通過在大型數據集上訓練的深度學習算法可以準確地識別復雜和動態的手勢。其他方法追蹤關鍵點來理解動作。

情境感知識別。考慮周圍環境和用戶意圖以提高手勢識別的準確性，尤其是在可能有多重解釋的情況下。

同步定位與地圖構建（SLAM）

AR/VR中的一個重要組成部分是SLAM（Simultaneous Localization and Mapping，同步定位與地圖構建）。這使得機器人或智能設備能夠在環境中追蹤自己的位置并同時創建地圖。SLAM技術對于在復雜環境中導航以及在繁忙情況下維持空間意識至關重要。

視覺SLAM。利用攝像頭捕捉視覺數據并提取特征，如邊緣和角點。算法隨后使用這些特征來估算設備的位置（位置和朝向），并相應地更新地圖。

LiDAR SLAM。采用LiDAR傳感器來測量與物體的距離并生成環境的三維點云。這使得更準確和更具彈性的地圖構建成為可能，特別是在低紋理或光線不足的情況下。

融合型SLAM。結合來自多個傳感器（攝像頭、LiDAR、IMU）的數據，以實現更強大和更準確的追蹤和地圖構建，尤其是在單個傳感器可能難以應對的具有挑戰性的條件下。

利用計算機視覺增強用戶界面

除了幫助AR和VR用戶理解他們周圍的環境外，計算機視覺還在改變這些沉浸式體驗中用戶與數字組件互動的方式。開發者可以利用從視覺數據中獲得的洞察來設計更直觀、自然且具有情境感知能力的用戶界面（UI）。

以下是一些最重要的技術：

視線跟蹤

自動化的視線跟蹤超越了眼睛注視檢測，理解用戶看向何處以及注視時間。這些信息可用于：

聚焦注意力。VR系統可以根據用戶注視的區域引導渲染資源，提高視覺保真度并減少計算負載。

自適應內容。通過根據用戶注視的地方調整內容、細節水平或敘述，從而創建更個性化和更具吸引力的體驗。

使用視線檢測的虛擬現實

基于注視的互動

基于眼睛跟蹤，基于注視的互動消除了對物理控制器或傳統UI元素的需求。用戶可以通過注視虛擬物體或菜單并執行預定義的動作（如停留時間選擇、注視手勢或虹膜跟蹤）直接與之互動。這創造了一個更加沉浸式且無需手部操作的互動體驗。

動態UI覆蓋

AR中的靜態UI覆蓋可能會打斷對現實世界的自然視野。計算機視覺使動態覆蓋成為可能，這些覆蓋能夠：

適應環境。覆蓋層可以根據周圍物體和場景上下文調整其大小、位置和外觀，從而減少視覺雜亂并保持用戶的注意力集中。

執行遮擋感知渲染。當虛擬元素被現實世界中的物體遮擋時，可以選擇性地隱藏或透明渲染，確保物理世界和數字世界的無縫融合。

面部表情識別

通過面部表情理解用戶情緒可以以多種方式增強AR/VR界面：

適應性互動。虛擬化身或系統可以對用戶的情緒做出同理心的反應，提供個性化的反饋或相應地調整體驗。

殘疾人士的無障礙功能。面部情感識別可用于開發針對言語或運動障礙個體的替代溝通方法。

計算機視覺在AR和VR中的挑戰

盡管計算機視覺為AR/VR開辟了一個充滿激動人心可能性的世界，但仍面臨重大挑戰：

計算限制。特別是對于包含高分辨率圖像和多個傳感器的復雜場景，實時處理視覺數據需要大量的計算資源。電池壽命和設備過熱可能成為移動AR/VR應用的限制因素。

光照和環境變化。在不同的光照條件、陰影和遮擋下，算法模型表現可能會顯著下降。在光線昏暗或雜亂的環境中，準確的物體識別和追蹤變得具有挑戰性。

遮擋處理。準確處理被遮擋的物體并確保當現實世界中的物體部分遮擋虛擬元素時實現無縫過渡仍然是一個技術難題。

數據和隱私問題。訓練強大的計算機視覺模型需要大量的標注數據。這引發了關于數據隱私和數據集潛在偏見的擔憂。

推動前進的創新

盡管面臨這些挑戰，研究人員和開發者仍在不斷推動計算機視覺在真實世界中的AR/VR邊界：

邊緣計算。將計算密集型任務從設備卸載到云端或邊緣網絡減輕了AR/VR設備的處理負擔，進而提高了性能和電池壽命。

輕量化深度學習模型。開發更小且更高效的深度學習架構，在不犧牲準確性的情況下優化資源受限設備上的性能。

傳感器融合。結合來自多個傳感器（攝像頭、LiDAR、IMU）的數據提供了更豐富的環境信息，從而實現更強大和準確的追蹤、地圖構建和物體識別。

合成數據生成。生成具有可控光照變化、背景和遮擋的真實感合成數據可以增強真實世界數據集，并提高算法的魯棒性。

隱私保護技術。安全飛地和差異隱私方法可以在收集、處理和存儲期間保護用戶數據，解決了計算機視覺應用中的隱私問題。

跨行業的AR/VR應用

視頻游戲

在AR游戲中，現實世界通過數字疊加得到增強，允許玩家與環境互動。這項技術引入了基于地理位置的挑戰，將游戲帶入街道和公共空間。另一方面，VR游戲將玩家帶入完全虛擬的世界，提供一種沉浸感，使用戶感覺自己置身于游戲環境中。

運動控制器、觸覺反饋和逼真的模擬增強了游戲體驗，使其更加吸引人和真實。

教育與培訓

增強現實(AR)利用計算機視覺精確地映射并將數字信息疊加到現實世界的教育內容上，使學生能夠與增強的內容互動。在虛擬現實(VR)中，復雜的計算機視覺系統通過追蹤用戶的動作、手勢和互動來創建沉浸式的合成環境。這些技術使用復雜的CV模型進行實時物體識別、空間映射以及數字元素的精確對齊。

例如，虛擬環境可以讓建筑學學生探索和操作三維建筑模型，提供真實的比例感和比例感。學生可以虛擬地穿行于建筑物中，可視化不同的設計元素，并體驗空間是如何組合在一起的。

零售與產品可視化

在零售應用中，AR/VR技術的實施遠遠超出了虛擬試穿體驗，對于轉變整體購物旅程起到了至關重要的作用。這些技術提供了沉浸式和交互式的特點，如增強的產品展示和虛擬展廳。顧客可以探索詳細的產品信息，比較選項，并體驗商店的虛擬游覽。

此外，AR應用提供了有關產品的實時信息、促銷活動和個人化推薦，創造了一個動態且吸引人的購物環境。這不僅提升了顧客體驗，還為零售商提供了有關消費者偏好和行為的寶貴見解。

制造與設計

在制造領域，AR疊加提供了實時指導和信息，適用于裝配、維護和設計驗證等任務。工人可以在其物理環境中訪問關鍵數據和指令，從而提高效率和準確性。這些技術通過讓工人能夠虛擬地可視化復雜的過程和機械，促進了增強型培訓程序的實施。

此外，AR/VR應用有助于設計驗證，使工程師能夠在物理生產之前在模擬環境中評估和改進原型。這種集成提高了整體生產力，減少了錯誤，確保了更順暢和有效的制造工作流程。

醫療保健

在醫療保健領域，AR/VR解決方案的整合在遠程手術支持中發揮著核心作用，為外科醫生提供沉浸式和精確的可視化，從而增強他們在遠程執行手術的能力。此外，AR/VR在康復鍛煉中也起到重要作用，通過提供交互性和個性化的模擬來幫助患者恢復。

醫療培訓也從中受益，這些技術使醫療保健專業人士能夠接受現實且沉浸式的模擬訓練。精確的追蹤和物體識別能力為這些應用的準確性和有效性做出了貢獻。這些進步體現在患者護理、手術程序和醫學教育等多個方面。

與人工智能的合作與集成

計算機視覺與人工智能（AI）之間的協同作用正在以前所未有的速度推動AR/VR的發展。通過結合各自的優勢，這些技術正在解鎖沉浸式體驗中的新層次感知、理解和互動。

機器學習處于這種合作的核心，賦予計算機視覺算法以下能力：

從大規模數據集中學習。經過大量標注視覺數據訓練的模型能夠以越來越高的準確性識別物體、追蹤動作和解釋手勢。

適應多樣化的環境。通過從不同的光照條件、背景和物體變化中學習，算法變得更加健壯，并能很好地泛化到未知情景中。

推理和做決策。AI驅動的計算機視覺能夠識別物體，并推理它們之間的關系、互動及其在AR/VR環境中的含義。

協作創新的例子：

實時場景理解。AI可以實時分析視覺數據，理解AR/VR場景中的空間布局、物體和活動。這使得虛擬元素和內容能夠根據上下文動態適應。

個性化的AR體驗。AI算法可以通過學習用戶偏好來個性化AR體驗，定制內容、互動和信息傳遞以滿足個人需求和興趣。

情感智能的VR化身。AI可以通過分析用戶的面部表情和語音模式來創建能夠同情地響應并動態調整行為以適應用戶情緒的虛擬化身。

AR應用中的預測性維護。通過分析工業設備的視覺數據，AI驅動的計算機視覺可以預測潛在故障，并通過AR輔助的維修過程指導技術人員。

最佳的AR/VR開源項目

開源社區在推進AR/VR的計算機視覺方面發揮了核心作用。通過提供免費可用的平臺、庫和數據集等資源，開源社區賦予開發者和研究者創建突破性應用的能力。

以下是社區為AR/VR工具做出的一些值得注意的貢獻：

OpenCV。這是一個靈活的庫，適用于實時計算機視覺應用。OpenCV經常被用于圖像處理、物體追蹤和AR/VR應用。

ARKit。蘋果用于在iOS設備上構建AR體驗的框架提供了訪問相機、LiDAR和運動追蹤等功能的能力。

ARCore。谷歌用于在Android設備上構建AR體驗的框架提供了類似ARKit的功能。

斯坦福大學的SUN3D。這是一個包含帶有相應3D場景注釋的大規模圖像數據集，對于訓練物體識別和場景理解算法非常有價值。

Matterport3D。這是一個全面收集的室內環境3D掃描數據集，對于使計算機能夠開發和測試AR/VR中的空間映射和導航算法非常有用。

ReplicaNet。這是一個由合成生成的圖像和3D模型組成的數據集，提供了一個受控環境，用于在不同條件下訓練和評估計算機視覺算法。

計算機視覺在AR和VR中的趨勢

計算機視覺在AR/VR領域的未來充滿了激動人心的可能性：

• 超現實體驗。

渲染技術、物體識別和場景理解的進步將創造出幾乎無法區分的物理世界與數字世界的融合。

• 情感計算。

VR/AR系統將通過面部表情、語音分析和生理數據識別并響應用戶的情緒，從而創造出更加個性化和引人入勝的體驗。

• 混合現實(MR)。

AR與VR之間的界限將繼續模糊，創造出具有日益復雜互動的現實和虛擬環境。

• 無處不在的AR。

隨著AR設備變得更小巧并更緊密地融入日常穿戴設備中，計算機視覺將使人們能夠與數字世界互動。

總而言之，計算機視覺在AR/VR中的作用是構建逼真且引人入勝體驗的基礎。憑借從手勢控制和物體識別到實時互動和空間映射的能力，計算機視覺正在改變我們與環境的互動方式。通過解決持久存在的問題、促進開源協作和擁抱持續創新，計算機視覺將繼續拓展虛擬世界的邊界。這將改變現實生活中的計算機交互方式，并顛覆眾多行業。