演講嘉賓 | 高 陽

回顧整理 | 廖 濤

排版校對 | 宋夕明

嘉賓介紹

OS內(nèi)核及視窗分論壇

高陽，工學博士，博士生導師，虛擬現(xiàn)實技術與系統(tǒng)全國重點實驗室副教授，入選首屆中國科協(xié)青年智庫人才支持計劃。主要研究方向為面向醫(yī)療康復的虛擬現(xiàn)實應用技術，包括可視化三維幾何、物理現(xiàn)象、人體運動建模與仿真，真實感渲染，智能人機交互等。在IEEE TVCG、IEEE VR、CVPR、AAAI等圖形學、人工智能和VR/AR領域國內(nèi)外知名期刊或會議中發(fā)表文章30余篇。曾獲2020中國電子學會科技進步一等獎、2021年中國產(chǎn)學研合作創(chuàng)新成果一等獎等。主持國家自然科學青年基金、北京市自然科學獎基金、重點研發(fā)計劃子課題、北京市科技計劃課題等多個科研項目和課題。

視頻回顧

打開嗶哩嗶哩APP，觀看更清晰視頻

正文內(nèi)容

在復雜的工業(yè)制造中，基于建模與仿真技術進行前期測試與驗證，能夠縮短開發(fā)周期，降低安全風險，提高制造效率。隨著計算機軟硬件以及AI大模型的快速發(fā)展，建模與仿真技術有哪些新進展？北京航空航天大學副教授高陽在第二屆OpenHarmony技術大會上進行了精彩分享。

可視化物理場景建模與仿真技術發(fā)展經(jīng)歷了二維圖像、三維特效以及點觸式交互（移動端呈現(xiàn)）等階段，目前正在向虛實融合呈現(xiàn)與交互演進。目前，虛實混合增強場景計算和高效建模在物理仿真、算法優(yōu)化、場景渲染以及人機交互方面均存在一定挑戰(zhàn)。

一：復雜自然場景的物理建模與仿真

復雜的自然場景中，由于幾何表示差異大、物理屬性和材料各不相同，導致物理建模和仿真困難，主要應對策略有：

（1）多尺度混合固體材料模擬：多尺度混合固體材料包含了屬性差異巨大、顆粒尺度多變的多種材質(zhì)，建模和計算困難，且不同材質(zhì)之間的相變與交互耦合行為難以描述。針對該問題，研究者所在團隊研究并提出了一種粒子與密度場、網(wǎng)格模型混合的統(tǒng)一仿真模型：在基于APIC的流體仿真框架下實現(xiàn)了顆粒狀材質(zhì)在空氣摩擦作用力下生成粉末狀煙霧的轉(zhuǎn)換過程，模擬了粉末狀固體運動過程中從破碎到粉塵飄揚、再到粉塵沉淀為微小粒子，粒子在含水率控制下表現(xiàn)出類流體行為的完整過程。相比單一的粒子表示模型，該框架模型具有更加逼真的視覺效果和更豐富的細節(jié)表達。

（2）非牛頓行為統(tǒng)一建模與行為仿真：影視特效和動畫中往往需要產(chǎn)生高質(zhì)量的非牛頓流體仿真，但目前還沒有能夠模擬各種非牛頓現(xiàn)象的基于粒子的方法。針對該問題，研究者本人及其所在團隊研究并提出了一種基于SPH的非牛頓流體統(tǒng)一求解框架。該求解器不僅能夠處理依據(jù)剪切率變化的變粘度流體，還能仿真彈性、塑性與粘性共存的粘彈性和粘塑性體。通過Generalized Maxwell理論模型將粘性、彈性和塑性統(tǒng)一到一個框架中，能夠模擬各類剪切變稀型、剪切變稠型、賓漢型等各類非牛頓行為。

二、數(shù)值算法優(yōu)化與加速

在基于數(shù)據(jù)驅(qū)動的劇本化仿真過程中，往往數(shù)據(jù)與物理的聯(lián)動較弱，導致需要消耗大量的計算資源和時間成本。主要應對策略有：

（1）基于物理感知的流體動態(tài)逆向建模：在流體動態(tài)逆向建模中，往往存在流場捕獲困難、幾何重建交互性和拓展性弱以及迭代優(yōu)化計算量大且不能實時建模的問題。針對該問題，研究者本人及其研究團隊研究并提出了基于物理感知的流體動態(tài)逆向建模的框架，即利用深度學習網(wǎng)絡從表面幾何序列中推斷全部的速度場和流體的物理屬性參數(shù)，據(jù)此利用物理仿真器在時間維度上推演模擬流場。該方法同時繼承了深度學習和傳統(tǒng)的物理仿真的優(yōu)勢，能夠高效精準地再現(xiàn)與觀測一致的流體運動。

（2）數(shù)據(jù)驅(qū)動的流固耦合場景高效仿真：與流體建模相比，動態(tài)流固耦合更加復雜，且在處理和耦合固體運動演化與相互作用時需要額外的計算資源。針對該問題，研究者本人及其所在團隊研究并提出了一種基于物質(zhì)點法的流固耦合加速算法，結(jié)合物質(zhì)點法在易于處理自碰撞、拓撲變化和多材料相互作用等方面的優(yōu)勢特性和數(shù)據(jù)驅(qū)動模型的高效率。在保留物理精度的同時，以數(shù)據(jù)驅(qū)動的方式實現(xiàn)高效和準確的流固耦合求解。

三、基于物理的高真實感實時渲染

目前，基于物理的高真實感實時渲染存在計算模型復雜、計算量大、高真實感算法性能低以及難以平衡質(zhì)量與性能等問題。主要應對策略有：

（1）基于注視點的VR場景渲染加速方法：虛擬現(xiàn)實（VR）對場景渲染的質(zhì)量要求高，需要高刷新率和高分辨率。但由于場景和模型復雜，往往渲染速率較低，且計算量大。針對該問題，研究者本人及其團隊研究并提出了根據(jù)人體視覺系統(tǒng)HVS對不同視覺區(qū)域的敏感度變化特性，設計了一種基于焦點區(qū)域的屏幕空間光線步進優(yōu)化步驟，在邊界區(qū)域進行步進縮減，顯著提升計算效率。同時使用時間抗鋸齒技術，結(jié)合三種內(nèi)核函數(shù)，利用多幀歷史數(shù)據(jù)對當前結(jié)果進行優(yōu)化處理，達到實時目標。

（2）基于次表面散射的半透明材質(zhì)實時渲染：傳統(tǒng)表面光照模型不適用于半透明材質(zhì)，且計算機硬件要求無法支撐實時光追。現(xiàn)有的半透明材質(zhì)實時渲染方法也存在計算量大、物體表面細節(jié)被過度模糊以及渲染效率低等問題。針對該問題，研究者本人及其團隊研究并提出了在將三維空間下的復雜光子束擴散存儲與評估拓展到屏幕空間。利用紋理映射技術，使用二維圖像集存儲空間光子信息。根據(jù)屏幕空間有限信息，對雙向散射表面反射分布函數(shù)進行有效評估。同時，通過拓展mip-map技術實現(xiàn)二維紋理空間上的光子聚類，進一步提升計算速率，支持任意半透明材質(zhì)的高質(zhì)量實時渲染。

四：虛實融合人機交互

在虛實融合的人機交互場景中，往往存在匹配程度弱、繪制效率低以及虛實融合效果差等問題。主要應對策略有：

（1）基于皮膚電和心率變異性評估的VR場景工作記憶訓練與評估：目前，工作記憶訓練方法的任務枯燥、遷移性弱，工作記憶評估方法依賴主觀量表，標準單一。針對該問題，研究者本人及其團隊研究并提出了一個用于工作記憶訓練與評估的虛擬現(xiàn)實系統(tǒng)，結(jié)合符合日常生活習慣的物體陳列關系，可以隨機生成用戶熟悉且合理的場景，供用戶完成工作記憶任務；設計并采用了貼近生活的記憶任務與更為綜合的評估準則，并且結(jié)合了皮膚電與心率變異性對用戶的工作記憶能力進行準確的評估。

（2）具身虛擬代理行為對VR交互真實感的影響評估：目前，尚未研究關注VR環(huán)境下MetaHuman與ChatGPT結(jié)合的具身虛擬代理，且沒有系統(tǒng)的評估方法。針對該問題，研究者本人及其所在團隊研究并提出了基于ChatGPT和MetaHuman的具身對話代理（ECA）MetaChatbot，分別設置其三個不同保真度的注視行為和身體動作，開展用戶實驗，結(jié)合主觀評分和生理信號發(fā)現(xiàn)了身體動作相比注視行為在提高交互體驗上的主導地位，為具身對話代理設計師提供相關建議。

（3）基于眼勢的人機交互界面控制：眼動控制時，由于眼動速度過快，難以控制，眼勢數(shù)據(jù)也難以收集，且目前缺乏通用的框架，阻礙交互。針對該問題，研究者本人及其所在團隊研究并提出了基于眼勢的人機交互界面控制方法，設計并采集數(shù)據(jù)特征簡潔且具有通用性的眼勢數(shù)據(jù)集。設計模板數(shù)據(jù)生成方法，使用GazePG網(wǎng)絡對極少量眼勢數(shù)據(jù)和大量模板數(shù)據(jù)域適應訓練，進行眼勢軌跡識別，以解決眼勢數(shù)據(jù)難以采集，一般識別網(wǎng)絡難以達到很好的識別效果的問題。

（4）基于物理的多材質(zhì)物體與手勢虛擬現(xiàn)實交互系統(tǒng)：目前，虛擬現(xiàn)實場景欠缺物理效果豐富性，人機交互的設備使用繁瑣，場地限制較大，且復雜場景的實時渲染效果較差。針對該問題，研究者本人及其所在團隊提出了一種新的多材質(zhì)物體和物理交互框架，即將不同材質(zhì)的真實物體和虛擬手模型體素化為粒子形式，利用手勢識別工具進行人機交互，并基于物質(zhì)點算法進行統(tǒng)一的模擬。該方法擁有物質(zhì)點算法的豐富性和穩(wěn)定性；此外，該方法還通過多樣化的表面重建和渲染策略在虛擬現(xiàn)實場景內(nèi)實現(xiàn)了高質(zhì)量和高效率兼顧的畫面表現(xiàn)；最后，自由便攜的人機交互方式結(jié)合上述模擬和渲染策略，提供全新的虛擬現(xiàn)實體驗。

未來，基于OpenHarmony分布式軟總線的能力以及統(tǒng)一OS、彈性部署，硬件互助、資源共享，一次開發(fā)、多端部署的技術優(yōu)勢，開發(fā)面向混合增強現(xiàn)實的系統(tǒng)底座，并結(jié)合虛擬現(xiàn)實應用技術，有望引領增強現(xiàn)實空間交互操作新模式。

E N D

關注我們，獲取更多精彩。

審核編輯 黃宇