歡創(chuàng)科技發(fā)布基于視覺(jué)與慣性傳感定位技術(shù)的Camsense XR產(chǎn)品

10月16日，深圳市歡創(chuàng)科技有限公司（以下簡(jiǎn)稱(chēng)：歡創(chuàng)科技）發(fā)布了基于視覺(jué)與慣性傳感定位技術(shù)的VR手柄套件Camsense XR，能實(shí)現(xiàn)VR/AR單目視覺(jué)6DoF追蹤。據(jù)了解該公司在視覺(jué)領(lǐng)域深耕多年，套件定位效果絲毫不亞于Oculus等主流產(chǎn)品。

“國(guó)內(nèi)的Inside-out技術(shù)迭代，或許在一到兩年內(nèi)都很難趕超Quest?！本驮谥癚uest2的發(fā)布會(huì)結(jié)束不久，陀螺君在和某從業(yè)者閑聊時(shí)得到了這樣的答案。

從頭控到如今的6DoF，VR硬件的迭代發(fā)展正推動(dòng)著內(nèi)容生態(tài)的急劇進(jìn)化。基于視覺(jué)的Inside-out追蹤系統(tǒng)，為PC VR熱門(mén)游戲《Beat Saber》、《SuperHot VR》提供了移植的可能性，更是促使涌現(xiàn)出一大批具有極高辨識(shí)度和玩法創(chuàng)新的移動(dòng)游戲佳作。

不得不說(shuō)，在VR行業(yè)發(fā)展初期，底層技術(shù)的發(fā)展離不開(kāi)Facebook、微軟、索尼等這些一眾大廠的重金推動(dòng)。而作為現(xiàn)今移動(dòng)VR游戲的標(biāo)配，Inside-out追蹤系統(tǒng)也成為了大廠們底層技術(shù)生態(tài)中的最強(qiáng)盾牌。 在國(guó)內(nèi)，基于視覺(jué)的Inside-out追蹤系統(tǒng)依舊處在萌芽期，各家廠商都在積極探索和落地與視覺(jué)搭配使用的，基于電磁和超聲波的其他追蹤方案，而算法層面的薄弱問(wèn)題幾乎成為了阻礙國(guó)內(nèi)Inside-out追蹤系統(tǒng)發(fā)展的最大攔路虎。

那么，國(guó)內(nèi)有沒(méi)有一家企業(yè)對(duì)于Inside-out視覺(jué)追蹤算法有著更為深入的探索？ 此次VR陀螺到場(chǎng)體驗(yàn)了該產(chǎn)品，并采訪到歡創(chuàng)科技CEO周琨，了解到該產(chǎn)品背后的淵源與背景。

定位效果媲美Quest？Camsense XR實(shí)現(xiàn)單目視覺(jué)6DoF追蹤

雖然國(guó)內(nèi)從事VR頭顯研發(fā)的企業(yè)層出不窮，但專(zhuān)注于6DoF手柄方案的企業(yè)卻鳳毛麟角。在手柄方案中，又可分為可見(jiàn)光、紅外、激光、電磁等不同方案的產(chǎn)品。每一種方案都有其不同的優(yōu)缺點(diǎn)，如可見(jiàn)光對(duì)光線環(huán)境有要求，且攝像頭范圍外無(wú)法捕捉;激光方案需要避免反光鏡面;電磁易被金屬干擾等。

區(qū)別于以上所有定位方案，Camsense XR采用了視覺(jué)追蹤+慣性傳感方案，并且是極其少有的支持單目6DoF的追蹤方案。其主要應(yīng)用于VR頭顯的手柄定位追蹤，結(jié)合頭部與手柄兩端實(shí)現(xiàn)精準(zhǔn)定位，可適配不同的頭顯設(shè)備。

整套方案由搭載兩個(gè)攝像頭的視覺(jué)定位模組以及兩個(gè)6DoF手柄構(gòu)成，由于該方案核心在于軟件算法所呈現(xiàn)出來(lái)的定位效果，所以手柄的工業(yè)設(shè)計(jì)可根據(jù)頭顯廠商進(jìn)行定制，而攝像頭定位模組也可在頭顯設(shè)計(jì)時(shí)完全融入到產(chǎn)品中。

從參數(shù)來(lái)看，Camsense XR可實(shí)現(xiàn)距離1米、水平170°&垂直98°的6DoF追蹤，定位精度動(dòng)態(tài)條件下小于3mm，靜態(tài)條件下約1mm，運(yùn)算延遲低于10ms。

從市場(chǎng)上主流的VR頭顯來(lái)看，Inside-out已經(jīng)成為主流的追蹤方案，并且大多采用視覺(jué)定位追蹤。如果是純視覺(jué)定位的話，其缺點(diǎn)在于對(duì)于環(huán)境要求較高，并且當(dāng)手柄移動(dòng)到捕捉范圍外時(shí)非常容易丟失，所以需要靠算法進(jìn)行補(bǔ)償。

而Camsense XR的優(yōu)勢(shì)在于，視覺(jué)追蹤+慣性傳感兩者混合，當(dāng)手柄位于攝像頭追蹤范圍外時(shí)，可通過(guò)慣性傳感進(jìn)行補(bǔ)償，同時(shí)結(jié)合算法，實(shí)現(xiàn)穩(wěn)定流暢的手柄追蹤效果。視覺(jué)追蹤技術(shù)與慣性傳感器一樣都已經(jīng)在其他領(lǐng)域廣泛應(yīng)用，具備較高的成熟度和穩(wěn)定性。

VR陀螺在現(xiàn)場(chǎng)測(cè)試了該產(chǎn)品的性能和效果，并對(duì)效果進(jìn)行了實(shí)時(shí)錄制拍攝。 在攝像頭追蹤范圍內(nèi)快速移動(dòng)手柄，幾乎感覺(jué)不到任何延時(shí); VR體驗(yàn)的核心在于沉浸感以及更本能的交互方式，所以在一些體驗(yàn)中會(huì)有大幅度的手部動(dòng)作交互，如拉弓射箭、扔手榴彈、跳舞、繪畫(huà)等，在這些場(chǎng)景中往往手的動(dòng)作會(huì)跳出攝像頭的捕捉范圍。如果手柄漂移、丟失或者延時(shí)高、反饋慢的話，體驗(yàn)將大打折扣，游戲的話甚至直接影響比分結(jié)果。在Camsense XR實(shí)測(cè)過(guò)程中，當(dāng)手臂大幅度揮動(dòng)時(shí)，在回到視角范圍內(nèi)的瞬間，手柄也隨之出現(xiàn)，重定位算法可以在1ms之內(nèi)完成手柄姿態(tài)的初始化定位，非常及時(shí)。

除了測(cè)試了以上兩個(gè)部分之外，VR陀螺還現(xiàn)場(chǎng)測(cè)試了該套件的另一個(gè)功能——單目6DoF追蹤。一般來(lái)說(shuō)正如人眼一樣，空間定位也需要兩個(gè)攝像頭來(lái)檢測(cè)深度，在一個(gè)攝像頭的條件下能否進(jìn)行精準(zhǔn)的定位追蹤？答案是可以的。 如視頻中所示，在一個(gè)攝像頭被遮擋的情況下，追蹤的精度以及延時(shí)、響應(yīng)速度絲毫未受影響。

深耕多年，Camsense死磕性能與成本

之所以能夠?qū)崿F(xiàn)如此精準(zhǔn)的定位追蹤，不僅與歡創(chuàng)這家公司自身的積累有關(guān)，同時(shí)也在于產(chǎn)品定義和設(shè)計(jì)細(xì)節(jié)。 歡創(chuàng)科技成立于2014年，專(zhuān)注于高精度定位傳感器研發(fā)，創(chuàng)始人之一周琨是清華大學(xué)本科和碩士，在計(jì)算機(jī)視覺(jué)空間定位與人機(jī)交互領(lǐng)域擁有十多年研究經(jīng)驗(yàn)，擁有20多項(xiàng)國(guó)際和國(guó)家發(fā)明專(zhuān)利。

雖然歡創(chuàng)科技成立時(shí)間并不長(zhǎng)，但該公司至今已申請(qǐng)32項(xiàng)發(fā)明專(zhuān)利、4項(xiàng)已經(jīng)得到授權(quán)，其中1項(xiàng)發(fā)明專(zhuān)利剛獲得美國(guó)專(zhuān)利局授權(quán)。歡創(chuàng)科技擁有完全自主知識(shí)產(chǎn)權(quán)的核心算法以及芯片。在這樣的團(tuán)隊(duì)背景和底氣下，歡創(chuàng)科技運(yùn)用核心算法——單目視覺(jué)定位，針對(duì)同領(lǐng)域進(jìn)行算法的硬核化，形成了多條業(yè)務(wù)線，覆蓋了包括機(jī)器人、工業(yè)/醫(yī)療和VR/AR等領(lǐng)域。在機(jī)器人領(lǐng)域，其研發(fā)的基于ASIC芯片的單目視覺(jué)激光雷達(dá)被應(yīng)用在諸多掃地機(jī)器人品牌上，在9月份單月出貨量超過(guò)了10萬(wàn)臺(tái)，從默默無(wú)聞縱身一躍成為行業(yè)頭部供應(yīng)商。另一款產(chǎn)品Camsense M Pro則用于工業(yè)、醫(yī)療等領(lǐng)域。如無(wú)人機(jī)測(cè)試，通過(guò)一套由多個(gè)單目相機(jī)組成的定位系統(tǒng)，檢測(cè)無(wú)人機(jī)飛行的空間坐標(biāo)軌跡以及穩(wěn)定性。

當(dāng)談及歡創(chuàng)科技為何會(huì)關(guān)注VR時(shí)，周琨表示非?？春肰R/AR的發(fā)展趨勢(shì)，其實(shí)早在2015年前后公司就在關(guān)注VR行業(yè)，一直在做技術(shù)儲(chǔ)備。 “我們堅(jiān)持的一個(gè)基本前提是對(duì)VR行業(yè)長(zhǎng)期看好的，并相信這個(gè)行業(yè)會(huì)得到很大的發(fā)展。這一點(diǎn)從Oculus和微軟等廠商對(duì)于VR行業(yè)近幾年的布局動(dòng)作就可以看出來(lái)，如果不是朝陽(yáng)行業(yè)，這些公司是不會(huì)在上面投入的?！?/p>

在堅(jiān)定了VR的方向后，歡創(chuàng)科技將目光放在了手柄定位上，周琨提到，目前全球VR硬件企業(yè)中，擁有單目6DoF定位視覺(jué)追蹤技術(shù)的企業(yè)屈指可數(shù)。也正是考慮到未來(lái)有龐大的市場(chǎng)空間，所以反而在這條賽道上機(jī)會(huì)更大。 在這套方案的設(shè)計(jì)中，周琨也提到了諸多細(xì)節(jié)方面，比如選擇了主動(dòng)光源而非被動(dòng)光源?！爸鲃?dòng)光源的好處是不會(huì)受光線明暗的影響，也不會(huì)受周?chē)h(huán)境的本身紋理復(fù)雜程度的影響。即使在一個(gè)純白的環(huán)境，也可以進(jìn)行追蹤。”

外觀設(shè)計(jì)上，采用了常見(jiàn)的環(huán)形外觀，整體體積相比同類(lèi)產(chǎn)品縮小不少。手柄上主動(dòng)發(fā)光點(diǎn)分布于圓環(huán)各處，便于精準(zhǔn)追蹤。 在手柄的參數(shù)中，VR陀螺注意到傳感器的幀率為30幀，在60、70、90幀為主流的背景下，為何偏偏要降到30幀？

“我們盡量降低對(duì)硬件的要求，拔高系統(tǒng)的算法能力，而且同時(shí)不能夠犧牲用戶(hù)體驗(yàn)，其實(shí)這對(duì)于我們來(lái)說(shuō)難度是很大的。”周琨坦言。Camsense與Oculus和微軟的追蹤方案相似，都有頭部和手部定位、也都采用單目傳感器和主動(dòng)光源手柄，但最大的不同仍然在于算法處理所依據(jù)的硬件條件

Oculus和微軟能夠大膽地使用高成本技術(shù)，提高硬件和配置要求，因此算法處理就會(huì)容易很多，而用戶(hù)也能夠體驗(yàn)到微軟90幀率或Oculus產(chǎn)品4個(gè)單目攝像頭的良好定位效果。Camsense面臨的挑戰(zhàn)，就是如何做好硬件成本和優(yōu)秀用戶(hù)體驗(yàn)之間的平衡;以及如何應(yīng)對(duì)客戶(hù)的多樣化需求，并最終達(dá)到追蹤效果的一致性。

Camsense XR的優(yōu)勢(shì)，主要體現(xiàn)以下兩個(gè)方面： 首先是定位算法能在低配置硬件上實(shí)現(xiàn)高配置硬件同樣的性能。Camsense XR主要依靠高精度定位算法，但最少可以只使用兩個(gè)30幀幀率的，分辨率為VGA的單目鏡頭，可以達(dá)到 其它廠家60幀幀率的動(dòng)態(tài)定位精度。這是Camsense面向多種客戶(hù)需求還能達(dá)到一致追蹤效果的關(guān)鍵。由于客戶(hù)需求多樣，需要適配不同的處理終端，PC端能夠處理高符合運(yùn)算，但基于手機(jī)處理方案的VR一體機(jī)卻不能在定位上消耗過(guò)多性能，為了最大化降低門(mén)檻，如何在低配硬件基礎(chǔ)上實(shí)現(xiàn)高質(zhì)量的追蹤效果成為了需要攻克的課題。

周琨提到，在設(shè)備中共有三種計(jì)算資源，一種是GPU，主要進(jìn)行圖像處理或者游戲等并行計(jì)算場(chǎng)景;一種是DSP，主要用于運(yùn)行頭部VSLAM等計(jì)算機(jī)視覺(jué)算法或者深度學(xué)習(xí)算法;還有一種是ARM計(jì)算資源，僅用于輕量級(jí)運(yùn)算，如微信，支付寶等手機(jī)上常見(jiàn)的各種APP程序。而Camsense XR在運(yùn)算中，使用的就是第三種計(jì)算資源--ARM，所以?xún)?nèi)存占用僅50M，1．95GHz的雙核CPU就能運(yùn)行。

降低功耗畢竟只是解決了適配性和成本問(wèn)題，用戶(hù)體驗(yàn)也是一道挑戰(zhàn)。既然硬件的基礎(chǔ)降低了，如何保證體驗(yàn)效果不被影響？周琨表示，只能以高精度的算法彌補(bǔ)硬件的不足。Camsense XR對(duì)于復(fù)雜環(huán)境下的追蹤，從頭部端到芯片處理再到終端交互的算法繼承自其工業(yè)級(jí)的亞亞像素高精度定位算法，其精度可以達(dá)到5m大空間范圍內(nèi)，0．2mm的絕對(duì)平均誤差，此技術(shù)在今年已獲得美國(guó)專(zhuān)利局的發(fā)明專(zhuān)利授權(quán)。

結(jié)語(yǔ)

注意到，在訪談過(guò)程中，周琨一直在強(qiáng)調(diào)要做“有意義”的產(chǎn)品。他從消費(fèi)者、客戶(hù)、企業(yè)開(kāi)發(fā)人員、產(chǎn)品和整個(gè)市場(chǎng)環(huán)境角度考慮，不斷打磨Camsense XR的產(chǎn)品定義，即使有能力投入更多的資金和時(shí)間達(dá)到更亮眼的功能效果，比如做頭部SLAM定位，但另一方面就會(huì)失去歡創(chuàng)科技自身的獨(dú)特性。 隨著Daydream、Gear VR淡出歷史舞臺(tái)，3DoF時(shí)代已經(jīng)結(jié)束。而6DoF產(chǎn)品的核心——定位追蹤，也將變得越來(lái)越重要。而這，也將為歡創(chuàng)科技帶來(lái)更多機(jī)會(huì)。

責(zé)任編輯：gt