Octi讓智能手機(jī)具備識(shí)別場(chǎng)景縱深、追蹤人體運(yùn)動(dòng)的能力

盡管深度攝像頭正在逐漸出現(xiàn)在許多手機(jī)手機(jī)品牌的高端機(jī)型上，但是單目、RGB攝像頭仍然是占據(jù)絕大多數(shù)設(shè)備的主流。這也就導(dǎo)致了現(xiàn)有的AR技術(shù)仍然是基于平面，很難去獲取環(huán)境的縱深。另外設(shè)備也很難捕捉并理解人體以及動(dòng)作，無(wú)法表現(xiàn)更好的增強(qiáng)現(xiàn)實(shí)效果。

普及具備深度獲取能力的攝像頭仍需時(shí)日，而人們對(duì)于更好的AR體驗(yàn)的追求已經(jīng)等不及了，如何在不添加傳感器的條件下，讓單目視覺(jué)設(shè)備具備對(duì)場(chǎng)景縱深的理解能力，對(duì)人物動(dòng)作的追蹤能力，成為增強(qiáng)現(xiàn)實(shí)視頻公司Octi攻克的重點(diǎn)。

在iOS端，Octi推出了一款名為“Octi”的APP，已經(jīng)可以在App Store下載體驗(yàn)

這款應(yīng)用展示了他們的動(dòng)態(tài)摳圖技術(shù)

識(shí)別動(dòng)態(tài)的尬舞人體，選擇特效，例如變成透明人

將從別處摳下來(lái)的動(dòng)態(tài)跳舞妹子放進(jìn)同一個(gè)場(chǎng)景中

點(diǎn)擊邊框調(diào)出視頻工具條

和時(shí)下流行的短視頻結(jié)合起來(lái)似乎會(huì)有奇妙的效果。

在Octi的官網(wǎng)上能看到技術(shù)的簡(jiǎn)要說(shuō)明。

首先是移動(dòng)實(shí)例分割。

所謂實(shí)例分割，就是機(jī)器自動(dòng)從圖像中用目標(biāo)檢測(cè)方法框出不同實(shí)例，再用語(yǔ)義分割方法在不同實(shí)例區(qū)域內(nèi)進(jìn)行逐像素標(biāo)記。換言之，就是當(dāng)場(chǎng)景中出現(xiàn)很多人的情況下，實(shí)例分割能夠區(qū)分出那些像素屬于第一個(gè)人，哪些屬于第二個(gè)人。

而Octi專有的人員實(shí)例分割方法能夠?qū)崿F(xiàn)在移動(dòng)設(shè)備（手機(jī)）上以高幀率運(yùn)行。

為了讓機(jī)器具備理解人體及其運(yùn)動(dòng)的能力，Octi建立了成熟的機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)技術(shù)。

首先，它掃描人體，檢測(cè)關(guān)鍵點(diǎn)比如眼睛、鼻子、臀部肘部等。

然后利用這些點(diǎn)來(lái)構(gòu)建骨骼模型

Octi獨(dú)特的3D重建技術(shù)結(jié)合使用神經(jīng)網(wǎng)絡(luò)和運(yùn)動(dòng)學(xué)模型，比同類方法具有更高的精度。

使用人的姿勢(shì)、分割和一系列專有運(yùn)動(dòng)模型的先驗(yàn)組合，Octi在移動(dòng)端實(shí)現(xiàn)了人體的體積重建。

看來(lái)Octi采用的便是被丸子醬點(diǎn)名批評(píng)過(guò)的，通過(guò)在模擬出的骨骼模型上套上一個(gè)粗糙的人體外殼完成的人體3D模型重建（Facebook最新開(kāi)源，普通RGB相機(jī)即可實(shí)時(shí)映射3D模型）考慮到在手機(jī)端各方條件都受限制，不能強(qiáng)求更多，實(shí)用就好。

為了讓單目RGB相機(jī)識(shí)別環(huán)境中的相對(duì)深度

Octi利用深度估計(jì)估計(jì)模型來(lái)區(qū)分圖像的前景和背景（即物體的遠(yuǎn)近），這種能力加強(qiáng)了設(shè)備對(duì)于場(chǎng)景的語(yǔ)義理解，并且允許我們?cè)诓豢紤]背景噪聲的情況下提取人的詳細(xì)動(dòng)作。

Octi日前確定了同NFL球員協(xié)會(huì)（美國(guó)國(guó)家橄欖球聯(lián)盟）確定了投資戰(zhàn)略和合作關(guān)系，球迷粉絲們可以通過(guò)Octi提供的技術(shù)同超過(guò)2000名橄欖球運(yùn)動(dòng)員進(jìn)行視頻形象互動(dòng)，就像我們?cè)谖恼麻_(kāi)頭看到的那樣。

動(dòng)作捕捉似乎是個(gè)和我們普羅大眾相距甚遠(yuǎn)的技術(shù)條目，Octi此舉卻告訴了我們，我們可以利用這項(xiàng)技術(shù)做很多有趣的事情，而且僅需要一個(gè)配備單目攝像頭的智能手機(jī)，就可以從場(chǎng)景中提取清晰人體動(dòng)作，這將給AR技術(shù)的普及推廣進(jìn)一步推波助瀾。

Octi不久前宣布獲得750萬(wàn)美元投資，有了更多資金，Octi將繼續(xù)完善其計(jì)算機(jī)視覺(jué)科學(xué)家、機(jī)器學(xué)習(xí)工程師的研究人員團(tuán)隊(duì)，或許能在技術(shù)上更進(jìn)一步。