第二屆大會回顧第23期 虛實融合物理仿真與人機交互

演講嘉賓 | 高 陽

回顧整理 | 廖 濤

排版校對 | 宋夕明

嘉賓介紹

OS內核及視窗分論壇

高陽，工學博士，博士生導師，虛擬現實技術與系統全國重點實驗室副教授，入選首屆中國科協青年智庫人才支持計劃。主要研究方向為面向醫(yī)療康復的虛擬現實應用技術，包括可視化三維幾何、物理現象、人體運動建模與仿真，真實感渲染，智能人機交互等。在IEEE TVCG、IEEE VR、CVPR、AAAI等圖形學、人工智能和VR/AR領域國內外知名期刊或會議中發(fā)表文章30余篇。曾獲2020中國電子學會科技進步一等獎、2021年中國產學研合作創(chuàng)新成果一等獎等。主持國家自然科學青年基金、北京市自然科學獎基金、重點研發(fā)計劃子課題、北京市科技計劃課題等多個科研項目和課題。

視頻回顧

打開嗶哩嗶哩APP，觀看更清晰視頻

正文內容

在復雜的工業(yè)制造中，基于建模與仿真技術進行前期測試與驗證，能夠縮短開發(fā)周期，降低安全風險，提高制造效率。隨著計算機軟硬件以及AI大模型的快速發(fā)展，建模與仿真技術有哪些新進展？北京航空航天大學副教授高陽在第二屆OpenHarmony技術大會上進行了精彩分享。

可視化物理場景建模與仿真技術發(fā)展經歷了二維圖像、三維特效以及點觸式交互（移動端呈現）等階段，目前正在向虛實融合呈現與交互演進。目前，虛實混合增強場景計算和高效建模在物理仿真、算法優(yōu)化、場景渲染以及人機交互方面均存在一定挑戰(zhàn)。

一：復雜自然場景的物理建模與仿真

復雜的自然場景中，由于幾何表示差異大、物理屬性和材料各不相同，導致物理建模和仿真困難，主要應對策略有：

（1）多尺度混合固體材料模擬：多尺度混合固體材料包含了屬性差異巨大、顆粒尺度多變的多種材質，建模和計算困難，且不同材質之間的相變與交互耦合行為難以描述。針對該問題，研究者所在團隊研究并提出了一種粒子與密度場、網格模型混合的統一仿真模型：在基于APIC的流體仿真框架下實現了顆粒狀材質在空氣摩擦作用力下生成粉末狀煙霧的轉換過程，模擬了粉末狀固體運動過程中從破碎到粉塵飄揚、再到粉塵沉淀為微小粒子，粒子在含水率控制下表現出類流體行為的完整過程。相比單一的粒子表示模型，該框架模型具有更加逼真的視覺效果和更豐富的細節(jié)表達。

（2）非牛頓行為統一建模與行為仿真：影視特效和動畫中往往需要產生高質量的非牛頓流體仿真，但目前還沒有能夠模擬各種非牛頓現象的基于粒子的方法。針對該問題，研究者本人及其所在團隊研究并提出了一種基于SPH的非牛頓流體統一求解框架。該求解器不僅能夠處理依據剪切率變化的變粘度流體，還能仿真彈性、塑性與粘性共存的粘彈性和粘塑性體。通過Generalized Maxwell理論模型將粘性、彈性和塑性統一到一個框架中，能夠模擬各類剪切變稀型、剪切變稠型、賓漢型等各類非牛頓行為。

二、數值算法優(yōu)化與加速

在基于數據驅動的劇本化仿真過程中，往往數據與物理的聯動較弱，導致需要消耗大量的計算資源和時間成本。主要應對策略有：

（1）基于物理感知的流體動態(tài)逆向建模：在流體動態(tài)逆向建模中，往往存在流場捕獲困難、幾何重建交互性和拓展性弱以及迭代優(yōu)化計算量大且不能實時建模的問題。針對該問題，研究者本人及其研究團隊研究并提出了基于物理感知的流體動態(tài)逆向建模的框架，即利用深度學習網絡從表面幾何序列中推斷全部的速度場和流體的物理屬性參數，據此利用物理仿真器在時間維度上推演模擬流場。該方法同時繼承了深度學習和傳統的物理仿真的優(yōu)勢，能夠高效精準地再現與觀測一致的流體運動。

（2）數據驅動的流固耦合場景高效仿真：與流體建模相比，動態(tài)流固耦合更加復雜，且在處理和耦合固體運動演化與相互作用時需要額外的計算資源。針對該問題，研究者本人及其所在團隊研究并提出了一種基于物質點法的流固耦合加速算法，結合物質點法在易于處理自碰撞、拓撲變化和多材料相互作用等方面的優(yōu)勢特性和數據驅動模型的高效率。在保留物理精度的同時，以數據驅動的方式實現高效和準確的流固耦合求解。

三、基于物理的高真實感實時渲染

目前，基于物理的高真實感實時渲染存在計算模型復雜、計算量大、高真實感算法性能低以及難以平衡質量與性能等問題。主要應對策略有：

（1）基于注視點的VR場景渲染加速方法：虛擬現實（VR）對場景渲染的質量要求高，需要高刷新率和高分辨率。但由于場景和模型復雜，往往渲染速率較低，且計算量大。針對該問題，研究者本人及其團隊研究并提出了根據人體視覺系統HVS對不同視覺區(qū)域的敏感度變化特性，設計了一種基于焦點區(qū)域的屏幕空間光線步進優(yōu)化步驟，在邊界區(qū)域進行步進縮減，顯著提升計算效率。同時使用時間抗鋸齒技術，結合三種內核函數，利用多幀歷史數據對當前結果進行優(yōu)化處理，達到實時目標。

（2）基于次表面散射的半透明材質實時渲染：傳統表面光照模型不適用于半透明材質，且計算機硬件要求無法支撐實時光追?，F有的半透明材質實時渲染方法也存在計算量大、物體表面細節(jié)被過度模糊以及渲染效率低等問題。針對該問題，研究者本人及其團隊研究并提出了在將三維空間下的復雜光子束擴散存儲與評估拓展到屏幕空間。利用紋理映射技術，使用二維圖像集存儲空間光子信息。根據屏幕空間有限信息，對雙向散射表面反射分布函數進行有效評估。同時，通過拓展mip-map技術實現二維紋理空間上的光子聚類，進一步提升計算速率，支持任意半透明材質的高質量實時渲染。

四：虛實融合人機交互

在虛實融合的人機交互場景中，往往存在匹配程度弱、繪制效率低以及虛實融合效果差等問題。主要應對策略有：

（1）基于皮膚電和心率變異性評估的VR場景工作記憶訓練與評估：目前，工作記憶訓練方法的任務枯燥、遷移性弱，工作記憶評估方法依賴主觀量表，標準單一。針對該問題，研究者本人及其團隊研究并提出了一個用于工作記憶訓練與評估的虛擬現實系統，結合符合日常生活習慣的物體陳列關系，可以隨機生成用戶熟悉且合理的場景，供用戶完成工作記憶任務；設計并采用了貼近生活的記憶任務與更為綜合的評估準則，并且結合了皮膚電與心率變異性對用戶的工作記憶能力進行準確的評估。

（2）具身虛擬代理行為對VR交互真實感的影響評估：目前，尚未研究關注VR環(huán)境下MetaHuman與ChatGPT結合的具身虛擬代理，且沒有系統的評估方法。針對該問題，研究者本人及其所在團隊研究并提出了基于ChatGPT和MetaHuman的具身對話代理（ECA）MetaChatbot，分別設置其三個不同保真度的注視行為和身體動作，開展用戶實驗，結合主觀評分和生理信號發(fā)現了身體動作相比注視行為在提高交互體驗上的主導地位，為具身對話代理設計師提供相關建議。

（3）基于眼勢的人機交互界面控制：眼動控制時，由于眼動速度過快，難以控制，眼勢數據也難以收集，且目前缺乏通用的框架，阻礙交互。針對該問題，研究者本人及其所在團隊研究并提出了基于眼勢的人機交互界面控制方法，設計并采集數據特征簡潔且具有通用性的眼勢數據集。設計模板數據生成方法，使用GazePG網絡對極少量眼勢數據和大量模板數據域適應訓練，進行眼勢軌跡識別，以解決眼勢數據難以采集，一般識別網絡難以達到很好的識別效果的問題。

（4）基于物理的多材質物體與手勢虛擬現實交互系統：目前，虛擬現實場景欠缺物理效果豐富性，人機交互的設備使用繁瑣，場地限制較大，且復雜場景的實時渲染效果較差。針對該問題，研究者本人及其所在團隊提出了一種新的多材質物體和物理交互框架，即將不同材質的真實物體和虛擬手模型體素化為粒子形式，利用手勢識別工具進行人機交互，并基于物質點算法進行統一的模擬。該方法擁有物質點算法的豐富性和穩(wěn)定性；此外，該方法還通過多樣化的表面重建和渲染策略在虛擬現實場景內實現了高質量和高效率兼顧的畫面表現；最后，自由便攜的人機交互方式結合上述模擬和渲染策略，提供全新的虛擬現實體驗。

未來，基于OpenHarmony分布式軟總線的能力以及統一OS、彈性部署，硬件互助、資源共享，一次開發(fā)、多端部署的技術優(yōu)勢，開發(fā)面向混合增強現實的系統底座，并結合虛擬現實應用技術，有望引領增強現實空間交互操作新模式。

E N D

關注我們，獲取更多精彩。

審核編輯 黃宇