空間計算體驗正在深入改變我們與數(shù)據(jù)交互的方式，通過擴展現(xiàn)實（XR）和數(shù)字孿生等技術(shù)打通物理世界與數(shù)字世界。這些進步讓我們能夠以更加直觀和沉浸式的方式分析和理解復雜的數(shù)據(jù)集。

本文將介紹開發(fā)者現(xiàn)在如何在沉浸式環(huán)境中使用基于通用場景描述（OpenUSD）的 NVIDIA Omniverse 數(shù)據(jù)集，將理解和洞察提升到新的水平。

獨特的混合渲染解決方案

創(chuàng)建沉浸式空間體驗存在特有的困難。通常情況下，XR 設備無法以逼真、沉浸式體驗所需的詳細程度渲染復雜的數(shù)據(jù)集。硬件方面的限制會導致保真度降低，難以保留復雜的細節(jié)。為了解決這些困難，NVIDIA 在 CES 2025 上宣布，Omniverse 平臺現(xiàn)已加入適用于 Omniverse 數(shù)字孿生工作流的空間流式傳輸，從而實現(xiàn)視覺保真度和性能皆無可比擬的 XR 體驗。埃森哲、Innoactive 和 Katana 已開始將該工作流集成到其現(xiàn)有的空間工作流中。

該混合渲染工作流使用 NVIDIA RTX GPU 和 NVIDIA 圖形交付網(wǎng)絡（GDN）將本地渲染和云端渲染相結(jié)合。這種方法既能保證高質(zhì)量的沉浸式體驗，又能減輕本地設備的壓力。開發(fā)者現(xiàn)在可以將基于 OpenUSD 的高保真 Omniverse 數(shù)字孿生傳輸?shù)?Apple Vision Pro。

圖 1. 適用于 Omniverse 數(shù)字孿生工作流的空間流式傳輸實現(xiàn)了視覺保真度和性能皆無可比擬的 XR 體驗。

設置空間流式傳輸

按照以下步驟，使用 Omniverse 平臺和 Apple Vision Pro 構(gòu)建自己的混合渲染應用和傳輸沉浸式體驗。

01創(chuàng)建 Omniverse Kit 應用

首先創(chuàng)建一個 Omniverse Kit 應用。它將作為數(shù)據(jù)集的服務器，處理計算密集型渲染任務。

02添加 XR 擴展

通過加入 XR 擴展捆綁包實現(xiàn)空間流式傳輸，這能夠簡化設置并確保加入所有必要的組件。

03構(gòu)建并運行 Kit 應用

構(gòu)建并運行 Kit 應用，以驗證其是否能夠正確處理和傳輸數(shù)據(jù)。

04設置客戶端項目

打開 Mac 上的 Xcode 并配置客戶端項目。這將在Apple Vision Pro 上呈現(xiàn)最終視覺效果。

05使用 Apple Vision Pro 模擬器進行測試

使用 Xcode 中的 Apple Vision Pro 模擬器進行測試和調(diào)試，無需現(xiàn)實的耳機。

06配置示例項目

調(diào)整提供的示例項目，以便與您的特定數(shù)據(jù)集配合使用。默認配置使用 Purse USD 數(shù)據(jù)集作為參考。

07連接到 Omniverse 服務器

最后，將客戶端項目連接到 Omniverse 服務器，并通過 Omniverse 中的 ActionGraph Logic 管理兩者之間的通信。

設置空間流式傳輸?shù)闹饕⒁馐马?/p>

設置空間流式傳輸環(huán)境需要幾個組件，詳情如下。

作為服務器的 Kit 應用：用于處理渲染任務，減少本地硬件壓力，確保運行的流暢。

XR 擴展：簡化開發(fā)并最大程度地減少設置錯誤。

提前構(gòu)建和運行：在繼續(xù)下一步操作前發(fā)現(xiàn)服務器設置中的潛在問題。

Xcode 客戶端項目：管理服務器與本地設備之間的無縫通信

模擬器測試：通過消除對物理硬件的依賴，加快開發(fā)速度。

示例項目：為定制特定數(shù)據(jù)集提供了一個強大的起點。

確保性能的最佳實踐

優(yōu)化渲染

通過最大程度地減少延遲和優(yōu)化網(wǎng)絡狀況確保最佳性能，這樣可以最大限度地提高空間體驗的響應速度和質(zhì)量。

照明和內(nèi)容

堅持采取照明和內(nèi)容設計的最佳實踐，以實現(xiàn)視覺效果驚艷的逼真環(huán)境，提高用戶的參與度。

混合渲染的優(yōu)點

使用 NVIDIA 混合渲染工作流傳輸沉浸式體驗具有顯著的優(yōu)勢：

高保真視圖：在不影響質(zhì)量的前提下保全數(shù)據(jù)集的保真度。現(xiàn)在已經(jīng)可以渲染出大型企業(yè)數(shù)據(jù)集中的復雜細節(jié)并傳輸?shù)?Apple Vision Pro 的高分辨率顯示器上。

性能和響應速度：云 GPU 可渲染更復雜的數(shù)據(jù)集、處理更多 AI 工作流并且可以擴展到同時連接多個用戶。

節(jié)約成本和能源：利用擴展自如的云資源降低成本和能耗。

可訪問性：無需昂貴、功能強大的工作站，即可實現(xiàn)沉浸式數(shù)字孿生體驗。這能夠推動高質(zhì)量 XR 應用的普及化。

可持續(xù)性：由于依靠的是數(shù)字模型而非物理原型，因此可以減少材料浪費和生產(chǎn)成本。例如，數(shù)字渲染最多可為每個項目節(jié)省 9000 美元。

充分發(fā)揮 Apple Vision Pro 的性能：充分利用高分辨率顯示屏、空間音頻等先進功能特征，提供無可比擬的用戶體驗。

下一步

現(xiàn)在就開始使用適用于 Omniverse 數(shù)字孿生的空間流式傳輸。