物理 AI (Physical AI）涵蓋機(jī)器人技術(shù)、智能汽車等領(lǐng)域，需要大量真實(shí)世界數(shù)據(jù)、專用基礎(chǔ)設(shè)施以及嚴(yán)格的測試。

51Sim 利用NVIDIA Cosmos的生成式世界基礎(chǔ)模型，對(duì)現(xiàn)有的合成數(shù)據(jù)進(jìn)行大規(guī)模泛化，在確保物理真實(shí)性的前提下，大幅提升了數(shù)據(jù)的豐富度。同時(shí)依托 NVIDIA Issac Sim，將輔助駕駛領(lǐng)域的經(jīng)驗(yàn)成功拓展到了具身智能領(lǐng)域，為端到端輔助駕駛仿真測試與具身智能機(jī)器人訓(xùn)練提供了海量高置信度的合成數(shù)據(jù)，目前相關(guān)成果已在多個(gè)主機(jī)廠和智能裝備企業(yè)中實(shí)現(xiàn)落地應(yīng)用。

合成數(shù)據(jù)的“多樣性”和“真實(shí)性”痛點(diǎn)

合成數(shù)據(jù)的泛化性和模擬-現(xiàn)實(shí)差距（Sim-to-Real Gap）是包括輔助駕駛仿真在內(nèi)的具身智能領(lǐng)域的核心難題。

端到端輔助駕駛模型測試區(qū)別于傳統(tǒng)的模塊化測試方式，需要同時(shí)包含感知與規(guī)控環(huán)節(jié)，因此高置信度的感知仿真的重要性大幅提升，這也對(duì)仿真場景的真實(shí)性和數(shù)據(jù)置信度提出了更高的要求。同時(shí)泛化性也是重要的影響因素，高階輔助駕駛的進(jìn)化深度依賴數(shù)據(jù)多樣性，海量、多維度，且覆蓋極端場景的長尾數(shù)據(jù)可以有效提升算法針對(duì)突發(fā)事件的應(yīng)對(duì)能力。

相比于智能汽車，港口、礦山、工廠等場景的工礦則更加復(fù)雜，真實(shí)數(shù)據(jù)的采集成本更高、數(shù)據(jù)更為稀缺。同時(shí)由于裝備本身的復(fù)雜性，需要依托高質(zhì)量的仿真環(huán)境和高度真實(shí)的物理仿真引擎才能完成閉環(huán)仿真測試與訓(xùn)練數(shù)據(jù)合成，這為安全性驗(yàn)證提出了更艱巨的任務(wù)。

利用 NVIDIA Cosmos 提升輔助駕駛合成數(shù)據(jù)場景的泛化性

NVIDIA Cosmos是一個(gè)生成式世界基礎(chǔ)模型（WFMs）平臺(tái)，包含先進(jìn)的視覺標(biāo)記器、護(hù)欄以及加速視頻數(shù)據(jù)處理工具管線。它專為加速輔助駕駛汽車和機(jī)器人領(lǐng)域的合成數(shù)據(jù)生成、AI 模型訓(xùn)練與評(píng)估而設(shè)計(jì)，能夠?yàn)槭澜缒Ｐ陀?xùn)練提供支持，并加速輔助駕駛汽車和機(jī)器人的物理 AI 開發(fā)。

基于高真實(shí)感動(dòng)靜態(tài)場景仿真和物理級(jí)傳感器仿真，51Sim 的輔助駕駛與機(jī)器人仿真測試平臺(tái) SimOne 能夠輸出豐富的傳感器原始數(shù)據(jù)和真值數(shù)據(jù)類型，包括攝像頭視頻流、2D/3D 包圍盒、語義分割、實(shí)例分割、深度圖、法線圖等。這些真值可進(jìn)一步作為Cosmos Transfer的控制輸入，通過不同的 Prompt，生成大規(guī)模、高真實(shí)感的合成數(shù)據(jù)集。

NVIDIA Cosmos為 51Sim 多種合成數(shù)據(jù)技術(shù)路線的融合帶來了更多可能性。圖形和 3DGS 混合渲染引擎的輸出可以直接作為 Cosmos 世界基礎(chǔ)模型的輸入。Cosmos Transfer可基于結(jié)構(gòu)輸入或來自NVIDIA Omniverse的真實(shí)數(shù)據(jù)，可根據(jù)提示，生成不同場景風(fēng)格的視頻。可在 Hugging Face 和 GitHub 上開放使用。在 Cosmos Transfer 的支持下，通過初期的基礎(chǔ)場景搭建以及云端 GPU 集群的加速生成，用戶可在有限資源投入的前提下，快速生成兼具真實(shí)性與多樣性的合成數(shù)據(jù)，顯著提升了生成效率，降低合成數(shù)據(jù)的整體成本。

借助 Cosmos，51Sim 將基于自研方案生產(chǎn)的合成數(shù)據(jù)的泛化性，實(shí)現(xiàn)了跨數(shù)量級(jí)的提升。一次構(gòu)建，可生成海量的泛化場景，大幅提升了數(shù)據(jù)的復(fù)用性，節(jié)省了重建成本。這些合成數(shù)據(jù)幫助車企算法研發(fā)部門實(shí)現(xiàn)了極端數(shù)據(jù)的“飽和式”覆蓋，為應(yīng)對(duì)極端場景提供了更強(qiáng)大的數(shù)據(jù)保障，加速高階輔助駕駛算法的快速迭代。

51Sim 專注打造強(qiáng)大落地能力的合成數(shù)據(jù)方案

憑借多年利用圖形引擎對(duì)真實(shí)世界進(jìn)行數(shù)字孿生重建的經(jīng)驗(yàn)，51Sim 積累了海量的高質(zhì)量 3D 資產(chǎn)庫，并擁有包括物理仿真及圖形渲染、3DGS 輻射場的重建、世界模型在內(nèi)的行業(yè)內(nèi)全面的合成數(shù)據(jù)技術(shù)路徑。

依托自研的 3DGS 混合引擎，51Sim 大幅提升了虛擬環(huán)境的視覺真實(shí)度和多樣化，并大幅降低了重建成本。這些虛擬場景產(chǎn)生的合成數(shù)據(jù)，嚴(yán)格遵循真實(shí)世界的物理規(guī)律，包括光照變化、材質(zhì)特性、碰撞反饋及物體間的動(dòng)態(tài)交互。

51Sim 的合成數(shù)據(jù)方案已在端到端輔助駕駛領(lǐng)域?qū)崿F(xiàn)落地應(yīng)用，憑借高置信度且多樣性的仿真場景、真實(shí)傳感器標(biāo)定的物理級(jí)傳感器建模能力及一致性經(jīng)驗(yàn)，實(shí)現(xiàn)了攝像頭、激光雷達(dá)、毫米波雷達(dá)等物理級(jí)多傳感器仿真，滿足了車企算法測試部門對(duì)于端到端仿真對(duì)置信度的極致要求。

為了進(jìn)一步滿足在輔助駕駛算法對(duì)于數(shù)據(jù)的真實(shí)性與多樣性的要求，縮小真實(shí)與仿真之間的領(lǐng)域差異，SimOne 還引入了實(shí)時(shí)光線追蹤渲染、3DGS 場景及動(dòng)靜態(tài)資產(chǎn)的重建技術(shù)。同時(shí)，為了增強(qiáng)數(shù)據(jù)的多樣性，SimOne 還構(gòu)建了基于域隨機(jī)化的靜態(tài)場景生成系統(tǒng)、基于大語言模型（LLM）的動(dòng)態(tài)場景生成工具，并增加了海量的 SOTIF 資產(chǎn)庫，結(jié)合天氣與光照的泛化能力，從而實(shí)現(xiàn)了高質(zhì)量、多樣化的合成數(shù)據(jù)生成。

未來展望：推動(dòng)物理AI安全、高效地進(jìn)入物理世界

基于 NVIDIA Cosmos 與 Isaac Sim 的強(qiáng)大能力，51Sim 進(jìn)一步為端到端輔助駕駛提供了海量高置信度的仿真數(shù)據(jù)，全面提升了輔助駕駛系統(tǒng)的安全性與泛化性能，助力車企端到端輔助駕駛技術(shù)的落地。

目前，51Sim 目前應(yīng)用領(lǐng)域已從輔助駕駛仿真，向智能裝備、低空飛行器、通用機(jī)器人等眾多行業(yè)進(jìn)行了拓展。依托 NVIDIA Isaac 開放生態(tài)，將多年積累的仿真與合成數(shù)據(jù)經(jīng)驗(yàn)，和海量的高質(zhì)量數(shù)據(jù)資產(chǎn)，成功拓展到了智能裝備、機(jī)器人等具身智能的仿真訓(xùn)練領(lǐng)域，為更多行業(yè)提供有力數(shù)據(jù)和仿真能力支撐，推動(dòng)物理 AI 安全、高效地進(jìn)入物理世界。

51Sim 于今年加入了 NVIDIA 初創(chuàng)加速計(jì)劃，并參加了 2025 NVIDIA 創(chuàng)業(yè)企業(yè)展示活動(dòng)，后續(xù)將在 NVIDIA 的助力下，在技術(shù)和市場方面進(jìn)行更多交流與聯(lián)動(dòng)。