英偉達(dá)新方法入選CVPR 2023：對(duì)未知物體的6D姿態(tài)追蹤和三維重建

普通手機(jī)“隨手”拍的雕像，一下就變成了精細(xì)的三維重建圖。

水杯來(lái)回動(dòng)的動(dòng)態(tài)場(chǎng)景下，細(xì)節(jié)清晰可見(jiàn)：

靜態(tài)場(chǎng)景效果也同樣nice，狗狗突出的肋骨都被還原了出來(lái)：

對(duì)比來(lái)看其他方法，效果是醬嬸的……

這就是英偉達(dá)最新提出的方法BundleSDF。

這是一種可對(duì)未知物體的6D姿態(tài)追蹤和三維重建的方法。

用于從單目RGBD視頻序列中跟蹤未知物體的6自由度運(yùn)動(dòng)，同時(shí)進(jìn)行物體的隱式神經(jīng)三維重建，方法接近于實(shí)時(shí)（10Hz）。

這種方法適用于任意剛性物體，即使視覺(jué)紋理大部分確實(shí)，僅需在第一幀中分割出物體，不需要任何額外的信息，并且不對(duì)智能體與物體的交互模式做任何假設(shè)。

目前，該方法已被CVPR 2023接收。

可處理大幅度姿態(tài)變化、有遮擋視頻

該方法的關(guān)鍵是一個(gè)神經(jīng)物體場(chǎng)，它與姿態(tài)圖優(yōu)化過(guò)程同時(shí)進(jìn)行，以便將信息穩(wěn)健地累積到一致的3D表示中，捕捉幾何和外觀。

方法自動(dòng)維護(hù)了一組動(dòng)態(tài)的姿態(tài)內(nèi)存幀，以便這些線程之間進(jìn)行通信。

它能處理具有大幅度姿態(tài)變化、部分和完全遮擋、無(wú)紋理表面和高光反射等具有挑戰(zhàn)性的視頻。

作者展示了HO3D、YCBInEOAT和BEHAVE數(shù)據(jù)集上的結(jié)果，證明了我們的方法顯著優(yōu)于現(xiàn)有方法。

野外測(cè)試

用于iPhone 12 Pro Max的效果：

用于Intel RealSense的效果：

該方法不僅適用于更具挑戰(zhàn)性的動(dòng)態(tài)場(chǎng)景，還適用于此前經(jīng)常被考慮的靜態(tài)場(chǎng)景（移動(dòng)相機(jī)）。

因此實(shí)現(xiàn)了比專門(mén)設(shè)計(jì)用于靜態(tài)場(chǎng)景的那些方法更好或相當(dāng)?shù)慕Y(jié)果（即文章開(kāi)頭展示動(dòng)圖）。

與SOTA對(duì)比

HO3D數(shù)據(jù)集上三種最具競(jìng)爭(zhēng)力方法的定性比較。

左圖：6自由度姿態(tài)跟蹤可視化，其中輪廓（青色）以估計(jì)的姿態(tài)渲染。

值得注意的是，如第二列所示，我們的預(yù)測(cè)姿態(tài)有時(shí)甚至?xí)m正GT的錯(cuò)誤。

右圖：每種方法輸出的最終3D重建的正面和背面視圖。

由于手部遮擋，視頻中的某些部分永遠(yuǎn)不可見(jiàn)。雖然從相同的視角渲染網(wǎng)格，但是DROID-SLAM和BundleTrack的顯著漂移導(dǎo)致網(wǎng)格錯(cuò)誤旋轉(zhuǎn)。

定量結(jié)果對(duì)比如下：

問(wèn)題設(shè)置

給定一段單目RGBD輸入視頻以及僅在第一幀中目標(biāo)物體的分割掩碼，該方法能持續(xù)追蹤物體的6-DoF姿態(tài)并重建物體的3D模型。

所有處理都是在線自回歸的（沒(méi)有假設(shè)未來(lái)幀可用）。

處理的物體是剛性的，但不依賴其特定豐富的紋理 - 方法適用于無(wú)紋理的物體。

此外，不需要物體的實(shí)例級(jí)CAD模型，也不需要物體類別的先驗(yàn)知識(shí)（例如事先對(duì)同一物體類別進(jìn)行預(yù)訓(xùn)練）。

具體框架

首先，在連續(xù)的分割圖像之間匹配特征，以獲得粗略的姿態(tài)估計(jì)（第3.1節(jié)）。

其中一些帶姿態(tài)的幀被存儲(chǔ)在內(nèi)存池中，以便稍后使用和精化（第3.2節(jié)）。

從內(nèi)存池的子集動(dòng)態(tài)創(chuàng)建位姿圖（第3.3節(jié)）；在線優(yōu)化與當(dāng)前姿態(tài)一起聯(lián)合細(xì)化圖中的所有姿態(tài)。

然后，這些更新的姿態(tài)被存儲(chǔ)回內(nèi)存池中。

最后，內(nèi)存池中的所有帶姿態(tài)的幀用于學(xué)習(xí)神經(jīng)物體場(chǎng)（在單獨(dú)的線程中），該場(chǎng)建模了物體的幾何和視覺(jué)紋理（第3.4節(jié)），同時(shí)調(diào)整其先前估計(jì)的姿態(tài)，使姿態(tài)跟蹤更加魯棒。

項(xiàng)目地址：
https://bundlesdf.github.io/

審核編輯 ：李倩