為什么普通攝像頭+深度學(xué)習(xí)方案更適合VR/AR

（文章來(lái)源：VR陀螺）

隨著Oculus將于2020年初在Quest中加入手勢(shì)識(shí)別功能這一消息發(fā)布，手勢(shì)交互終于打破局面，開(kāi)始真正走向消費(fèi)端。為什么普通攝像頭+深度學(xué)習(xí)方案更適合VR/AR？此次Oculus Quest手勢(shì)識(shí)別使用了基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別的技術(shù)方案。（感謝凌感科技uSens費(fèi)越博士對(duì)本文技術(shù)部分的支持）?

VR陀螺從費(fèi)越博士口中了解到，目前基于計(jì)算機(jī)視覺(jué)的手勢(shì)方案實(shí)際上也分為兩種：一種是用深度攝像頭，一種是用一個(gè)或者多個(gè)普通攝像頭實(shí)現(xiàn)。而其中深度攝像頭的方案又分為兩種，TOF（Time of Flight，光飛時(shí)間）和結(jié)構(gòu)光。實(shí)際上結(jié)構(gòu)光，或者TOF輸出的東西基本一樣，都是一張深度圖。

相對(duì)于兩種使用深度攝像頭的方案，基于一個(gè)或多個(gè)普通攝像頭實(shí)現(xiàn)的手勢(shì)識(shí)別難度更高，但得益于技術(shù)發(fā)展，其在精度、成本綜合性能上正在成為主流。業(yè)內(nèi)的Leap Motion、凌感uSens就是使用這種方案，Oculus Quest也是使用原有的用于SLAM和手柄跟蹤的四個(gè)灰度攝像頭用深度學(xué)習(xí)算法來(lái)實(shí)現(xiàn)的手勢(shì)識(shí)別。?

凌感uSens自2015年就開(kāi)始使用深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)手勢(shì)識(shí)別，并在2017年發(fā)布了和Oculus Quest類(lèi)似的基于灰度攝像頭的手勢(shì)識(shí)別及SLAM方案。??不久前凌感還研發(fā)發(fā)布了單目RGB相機(jī)上的三維手勢(shì)骨骼識(shí)別，可識(shí)別手部全部22個(gè)關(guān)節(jié)點(diǎn)的26DOF（26自由度）信息，關(guān)節(jié)點(diǎn)包括3D位置信息和3D旋轉(zhuǎn)信息。在單目RGB相機(jī)上實(shí)現(xiàn)三維手勢(shì)骨骼識(shí)別相對(duì)于多個(gè)灰度相機(jī)的方案來(lái)說(shuō)算法的難度更高。?

近年來(lái)TOF方案在手機(jī)上應(yīng)用越來(lái)越廣泛，也是最容易實(shí)現(xiàn)深度信息的方案，但在VR、AR設(shè)備上卻幾乎沒(méi)有。原因可以從以下幾個(gè)方面來(lái)看：

AR、VR對(duì)相機(jī)要求非常高，首先必須做到延遲非常低。據(jù)稱(chēng)，普通相機(jī)延遲可以達(dá)到4ms以下，從相機(jī)獲取圖像到把圖像傳過(guò)來(lái)的延遲都控制在10ms以下。但TOF相機(jī)難以做到，一般TOF相機(jī)獲取圖像的過(guò)程延遲約為四五十毫秒。因?yàn)門(mén)OF相機(jī)的工作原理不是拍一張圖像，而是要連續(xù)拍多張圖像，再根據(jù)圖像不同的激光的相位，來(lái)還原出深度信息。而拍多張的后果導(dǎo)致延時(shí)高，并且要求一定的計(jì)算，也需要耗時(shí)。同時(shí)，這種方案還會(huì)有一些運(yùn)動(dòng)模糊，如果手動(dòng)作特別快，在多張圖像中的位置不同，也會(huì)導(dǎo)致信息測(cè)算不精準(zhǔn)。

對(duì)于AR、VR來(lái)說(shuō)，它的要求比一般手機(jī)識(shí)別人臉的要求高非常多。手不管動(dòng)得多快，都必須有反應(yīng)，需要精確、低延遲，不然容易產(chǎn)生眩暈。

TOF的第二個(gè)問(wèn)題在于視角。在VR中追蹤范圍越大，手、手柄能夠運(yùn)動(dòng)的幅度就越大，灰度相機(jī)配上魚(yú)眼鏡頭可以視角達(dá)到160度以上，多相機(jī)系統(tǒng)可以達(dá)到200度以上的覆蓋范圍。但一般性能比較好的TOF，視角約為60度，最大也只有90度左右。TOF在手機(jī)上可行，但對(duì)VR、AR應(yīng)用來(lái)說(shuō)，致命的就是延遲和視角。