在過去的二十年中,移動計算技術的迅猛發(fā)展使智能手機嶄露頭角,成為主流的移動智能終端。雖然科技不斷進步,智能手機所面臨的可視空間受限、交互單一等局限問題仍待突破。隨著傳感器技術的提升、空間感知技術和虛擬現(xiàn)實增強技術的演進,“空間計算技術”應運而生,這為下一代移動平臺,特別是XR智能終端的發(fā)展帶來新的前景。
虹軟科技從標定、感知、交互和視覺呈現(xiàn)等方向全方位創(chuàng)新,構建了一套完整的空間計算技術,為下一代移動平臺,尤其是XR智能終端在空間感知、視覺呈現(xiàn)、人機交互以及數(shù)字內(nèi)容方面的發(fā)展提供強有力的支持。
虹軟空間感知技術:
構建虛擬與現(xiàn)實協(xié)同融合的關鍵引擎
感知用戶所處空間是實現(xiàn)虛擬世界與真實環(huán)境融合的基礎和必要條件。虹軟空間計算技術涵蓋了多重空間感知解決方案,包括一站式多傳感器標定解決方案、頭顯6DoF跟蹤、平面檢測、稠密重建、語義分析、深度估計、實時3D Mesh重建、vSlam空間定位與地圖構建等。這一系列解決方案可為XR設備提供高效的環(huán)境感知能力,使虛擬元素與現(xiàn)實世界實現(xiàn)完美交融。
虹軟一站式多傳感器標定:在XR領域中,多個傳感器之間準確、高精度的協(xié)同工作離不開復雜的標定過程?;诖?,虹軟提供業(yè)界全面覆蓋且性能領先的一站式多傳感器標定解決方案,解決多傳感器數(shù)據(jù)協(xié)同的難題。高效的標定算法可以快速準確地調整各傳感器的參數(shù),使它們在實際運行中協(xié)同工作,為XR設備提供準確、穩(wěn)定的感知數(shù)據(jù)。
虹軟頭顯 6DoF跟蹤:用戶頭部姿態(tài)跟蹤是頭戴式顯示設備的核心功能之一,虹軟的頭顯6DoF跟蹤解決方案通過整合多傳感器信息,實時跟蹤用戶頭部六自由度運動,包括旋轉和平移的自由度,使用戶體驗更為真實、自然,為用戶帶來更高的沉浸感。
多維度空間感知:通過平面檢測、稠密重建、語義分析、深度估計、實時 3D Mesh 重建、vSlam空間定位與地圖構建等多重技術,虹軟的空間感知技術實現(xiàn)了多維度的空間感知能力。vSlam空間定位與地圖構建通過實時處理攝像頭捕捉的視頻流,識別并跟蹤設備在現(xiàn)實世界中的位置,同時構建一個精確的環(huán)境地圖。實時 3D Mesh 重建則通過一系列的圖像或傳感器數(shù)據(jù),實時生成用戶周圍環(huán)境的三維網(wǎng)格表示。這使得XR設備能夠更加準確地感知并重建用戶所處空間的實時三維模型,為虛擬元素提供了精準的定位和更逼真的交互體驗。這些技術的協(xié)同工作,確保了虛擬元素與現(xiàn)實世界的無縫銜接,提升了整體XR體驗的真實感和沉浸感。
虹軟交互技術:全面的互動引擎
虹軟空間計算技術中的交互技術涵蓋了手柄 6DoF 跟蹤、裸手 3D 手勢交互、視線跟蹤以及虛擬數(shù)字人表情驅動、人體驅動等多項交互解決方案,為XR提供了全新的人機交互模式。與過去在平面屏幕上的模擬3D不同,這種交互模式將用戶置身于真實的3D空間中,感受到沉浸式人機交互體驗。
手眼協(xié)同的沉浸式交互:虹軟基于裸手 3D 手勢與視線跟蹤技術,構建了一種創(chuàng)新的手眼協(xié)同的沉浸式交互解決方案。這一方案為用戶提供了僅依靠XR設備的傳感器(如ToF、多mono、多RGB)而不依賴其他物理設備的自由操控方法, 通過手勢和視線的完美配合,即可完成各種復雜交互任務。例如,用戶可以通過注視感興趣的內(nèi)容,然后通過簡單的自然手勢動作完成選擇、拖動或放大縮小等操作。這種手眼協(xié)同的設計讓用戶更加自然地融入虛擬場景,為XR的交互帶來了更為綜合、靈活的操控體驗。
手柄 6DoF 跟蹤: 虹軟的手柄 6DoF 跟蹤技術通過實時捕捉手柄六個自由度的運動,即旋轉和平移,為用戶提供更為自由和精準的虛擬操控體驗。這一技術不僅提供了強大的工具支持,更為用戶創(chuàng)造了更為深度和靈活的虛擬交互環(huán)境,顯著提升用戶在XR中的沉浸感。
虛擬數(shù)字人表情驅動、人體驅動:通過捕捉用戶的面部表情和身體動作,虹軟的交互技術實現(xiàn)了更為生動、自然的虛擬數(shù)字人交互解決方案。這一解決方案不僅賦予用戶更豐富的表達能力,同時增強了虛擬體驗與真實生活的連接,提供了更為深刻和真實的用戶參與感。
虹軟視覺呈現(xiàn)技術:完美的畫面顯示
視覺呈現(xiàn)是決定用戶體驗的關鍵因素之一。畫面的流暢性與舒適性一直是XR領域用戶體驗的核心,虹軟空間感知技術通過提供視頻透視(VST: Video See-Through)、異步時間扭曲等先進的視覺呈現(xiàn)解決方案,為XR終端提供完善的視覺顯示。
視頻透視(VST: Video See-Through):虹軟的視頻透視技術通過智能調整視頻內(nèi)容的投影方式,使其與用戶在虛擬空間中的位置和方向相匹配。視頻透視解決方案可以使虛擬元素更加真實地嵌入到用戶的視野中,增強虛擬與現(xiàn)實的交融感。
異步時間扭曲:異步時間扭曲解決方案主要是實現(xiàn)對每個眼睛的圖像進行獨立渲染和扭曲,以適應用戶頭部在虛擬環(huán)境中的運動。虹軟異步時間扭曲解決方案不僅提高了虛擬現(xiàn)實體驗的流暢性,同時避免了因頭部運動而引起的暈眩感,為用戶創(chuàng)造了更加舒適、真實的虛擬感知。
虹軟數(shù)字內(nèi)容生成技術:
XR內(nèi)容新生產(chǎn)力
數(shù)字內(nèi)容生成技術正在成為XR內(nèi)容創(chuàng)造新的生產(chǎn)力,虹軟空間計算技術包含了數(shù)字人創(chuàng)建、3D視頻成像、AIGC內(nèi)容生成等豐富的數(shù)字內(nèi)容生成技術,可為XR提供更為豐富、引人入勝的內(nèi)容體驗。
虹軟AI數(shù)字人創(chuàng)建:借助虹軟先進的3D建模技術,虹軟的數(shù)字人創(chuàng)建解決方案可創(chuàng)作出從外貌、表情、動作等多個維度均與現(xiàn)實世界相仿的數(shù)字人物。數(shù)字人創(chuàng)建再結合虹軟數(shù)字人動畫驅動技術還可以準確捕捉和模擬人類面部表情、身體動作和語音特征,創(chuàng)造出媲美真人的虛擬角色。這使得在XR場景中呈現(xiàn)出更加生動、具有情感共鳴的數(shù)字人成為可能。
3D視頻成像:虹軟的3D視頻成像解決方案可將用戶通過普通雙攝/多攝像頭智能手機拍攝的內(nèi)容以3D全景的方式呈現(xiàn),為用戶提供更為沉浸式的體驗。這項技術能夠捕捉真實世界場景的立體信息,使用戶感覺置身其中。
AIGC內(nèi)容生成:AIGC技術是虹軟在數(shù)字內(nèi)容生成方面的重要創(chuàng)新,通過積極布局視覺大模型+XR相關技術,虹軟利用ArcMuse技術引擎產(chǎn)生圖片、視頻、數(shù)字人以及3D內(nèi)容等,為XR眼鏡載體提供便捷、優(yōu)質的內(nèi)容生成引擎。這種內(nèi)容生成方式不僅為內(nèi)容創(chuàng)造提高了效率,同時也為創(chuàng)作者帶來更多創(chuàng)作靈感,推動XR內(nèi)容創(chuàng)作的創(chuàng)新力。
通過這些創(chuàng)新技術,虹軟空間計算技術將不斷推動XR領域的發(fā)展,為用戶帶來更真實、更豐富的虛擬體驗。作為科技和創(chuàng)新的引領者,虹軟將繼續(xù)探索,不斷拓展空間計算技術邊界,為未來的XR智能終端開辟更加廣闊的可能性。
審核編輯:湯梓紅
-
傳感器
+關注
關注
2545文章
50445瀏覽量
751067 -
智能終端
+關注
關注
6文章
868瀏覽量
34635 -
虹軟
+關注
關注
1文章
51瀏覽量
4510
原文標題:引領XR革新:虹軟空間計算技術驅動新一代空間計算平臺
文章出處:【微信號:ArcSoft_World_Wide,微信公眾號:虹軟】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論