英偉達提出了同時對未知物體進行6D追蹤和3D重建的方法

除了這兩個要求之外，物體可以在整個視頻中自由移動，甚至經(jīng)歷嚴重的遮擋。英偉達的方法在目標上與物體級 SLAM 的先前工作類似，但放松了許多常見的假設(shè)，從而能夠處理遮擋、反射、缺乏視覺紋理和幾何線索以及突然的物體運動。

英偉達方法的關(guān)鍵在于在線姿態(tài)圖優(yōu)化過程，同時進行神經(jīng)重建過程和一個內(nèi)存池以促進兩個過程之間的通信。相關(guān)論文已被 CVPR 2023 會議接收。

• 論文地址：https://arxiv.org/abs/2303.14158

• 項目主頁：https://bundlesdf.github.io/

• 項目代碼：https://github.com/NVlabs/BundleSDF

本文的貢獻可以總結(jié)如下：

• 一種用于新穎未知動態(tài)物體的因果 6 自由度姿態(tài)跟蹤和 3D 重建的新方法。該方法利用了并發(fā)跟蹤和神經(jīng)重建過程的新穎共同設(shè)計，能夠在幾乎實時的在線環(huán)境中運行，同時大大減少了跟蹤漂移。

• 引入了混合 SDF 表示來處理動態(tài)物體為中心的環(huán)境中由于噪聲分割和交互引起的不確定自由空間的挑戰(zhàn)。

• 在三個公共基準測試中進行的實驗顯示了本文方法與主流方法的最先進性能。

英偉達方法的魯棒性在下圖 1 中得到了突出顯示。

與相關(guān)工作的對比

此前的 6D 物體姿態(tài)估計旨在推斷出目標物體在相機幀中的三維平移和三維旋轉(zhuǎn)。最先進的方法通常需要實例或類別級別的物體 CAD 模型進行離線訓練或在線模板匹配，這限制了它們在新穎未知物體上的應(yīng)用。盡管最近有幾項研究工作放寬了假設(shè)并旨在快速推廣到新穎未見的物體，但它們?nèi)匀恍枰A(yù)先捕獲測試物體的姿態(tài)參考視圖，而英偉達的設(shè)定中并不假設(shè)這一點。

除了單幀姿態(tài)估計之外，6D 物體姿態(tài)跟蹤利用時間信息在整個視頻中估計每幀物體姿態(tài)。與單幀姿態(tài)估計方法類似，這些方法在不同的假設(shè)條件上進行，例如訓練和測試使用相同的物體，或者在相同類別的物體上進行預(yù)訓練。

然而，與所有以往工作不同的是，英偉達的追蹤和重建協(xié)同設(shè)計采用了一種新穎的神經(jīng)表示，不僅在實驗證實中實現(xiàn)了更強大的跟蹤能力，還能夠輸出額外的形狀信息。

此外，雖然 SLAM（同時定位與地圖構(gòu)建）方法解決的是與本研究類似的問題，但其專注于跟蹤相機相對于大型靜態(tài)環(huán)境的姿態(tài)。動態(tài) SLAM 方法通常通過幀 - 模型迭代最近點（ICP）與顏色相結(jié)合、概率數(shù)據(jù)關(guān)聯(lián)或三維水平集似然最大化來跟蹤動態(tài)物體。模型通過將觀察到的 RGBD 數(shù)據(jù)與新跟蹤的姿態(tài)聚合實時重建。

相比之下，英偉達的方法利用一種新穎的神經(jīng)對象場表示，允許自動融合，同時動態(tài)矯正歷史跟蹤的姿態(tài)以保持多視角一致性。英偉達專注于物體為中心的場景，包括動態(tài)情景，其中常常缺乏紋理或幾何線索，并且交互主體經(jīng)常引入嚴重遮擋，這些是在傳統(tǒng) SLAM 中很少發(fā)生的困難。與物體級 SLAM 研究中研究的靜態(tài)場景相比，動態(tài)交互還允許觀察物體的不同面以進行更完整的三維重建。

方法概覽

英偉達方法的概述如下圖所示。給定單目 RGBD 輸入視頻以及僅在第一幀中感興趣物體的分割掩碼，該方法通過后續(xù)幀跟蹤物體的 6D 姿態(tài)并重建物體的紋理 3D 模型。所有處理都是因果的（無法訪問未來幀的信息）。英偉達假設(shè)物體是剛體，但適用于無紋理的物體。

此外不需要物體的實例級 CAD 模型，也不需要物體的類別級先驗知識（例如事先在相同的物體類別上訓練）。

整個框架的流程可以概括為：首先在連續(xù)的分割圖像之間匹配特征，以獲得粗略的姿態(tài)估計（第 3.1 節(jié)）。其中一些具有姿態(tài)的幀被存儲在內(nèi)存池中，以便稍后使用和優(yōu)化（第 3.2 節(jié)）。從內(nèi)存池的子集動態(tài)創(chuàng)建姿態(tài)圖（第 3.3 節(jié)）；在線優(yōu)化與當前姿態(tài)一起優(yōu)化圖中的所有姿態(tài)。

然后，這些更新的姿態(tài)被存儲回內(nèi)存池中。最后，內(nèi)存池中的所有具有姿態(tài)的幀用于學習基于 SDF 表示的神經(jīng)物體場（在單獨并行的線程中），該對象場建模物體的幾何和視覺紋理（第 3.4 節(jié)），同時調(diào)整它們先前估計的姿態(tài)，以魯棒化 6D 物體姿態(tài)跟蹤。

在這項工作中，一個獨特的挑戰(zhàn)在于交互者引入的嚴重遮擋，導(dǎo)致了多視幾何不再一致。并且完美的物體分割掩碼通常無法得到。為此，英偉達進行了獨特的建模以增加魯棒性。

下面左圖：使用視頻分割網(wǎng)絡(luò)（第 3.1 節(jié)）預(yù)測的二值掩碼進行高效的射線追蹤的 Octree 體素表示，該物體分割掩碼由于來自神經(jīng)網(wǎng)絡(luò)的預(yù)測難免存在錯誤。射線可以落在掩碼內(nèi)部（顯示為紅色）或外部（黃色）。右圖：神經(jīng)體積的 2D 俯視示意圖，以及沿著射線進行的混合 SDF 建模的點采樣。藍色樣本接近表面。

實驗和結(jié)果

數(shù)據(jù)集：英偉達考慮了三個具有截然不同的交互形式和動態(tài)場景的真實世界數(shù)據(jù)集。有關(guān)野外應(yīng)用和靜態(tài)場景的結(jié)果，請參閱項目頁面。

• HO3D：該數(shù)據(jù)集包含了人手與 YCB 物體交互的 RGBD 視頻，由近距離捕捉的 Intel RealSense 相機進行拍攝。

• YCBInEOAT：該數(shù)據(jù)集包含了雙臂機器人操作 YCB 物體的第一視角的 RGBD 視頻，由中距離捕捉的 Azure Kinect 相機進行拍攝。操作類型包括：（1）單臂拾取和放置，（2）手內(nèi)操作，以及（3）雙臂之間的拾取和交接。

• BEHAVE：該數(shù)據(jù)集包含人體與物體交互的 RGBD 視頻，由 Azure Kinect 相機的預(yù)校準多視圖系統(tǒng)遠距離捕捉。然而，我們將評估限制在單視圖設(shè)置下，該設(shè)置經(jīng)常發(fā)生嚴重遮擋。

評估指標：英偉達分別評估姿態(tài)估計和形狀重建。對于 6D 物體姿態(tài)，他們使用物體幾何來計算 ADD 和 ADD-S 指標的曲線下面積（AUC）百分比。對于 3D 形狀重建，英偉達計算最終重建網(wǎng)格與地面真實網(wǎng)格之間在每個視頻的第一幀定義的規(guī)范坐標系中的 Chamfer 距離。

對比方法：英偉達使用官方的開源實現(xiàn)和最佳調(diào)整參數(shù)與 DROID-SLAM (RGBD) [61]、NICE-SLAM [85]、KinectFusion [43]、BundleTrack [69] 和 SDF-2-SDF [53] 進行比較。此外還包括它們在排行榜上的基準結(jié)果。

團隊介紹

該論文來自于英偉達研究院。其中論文一作是華人溫伯文，博士畢業(yè)于羅格斯大學計算機系。曾在谷歌 X，F(xiàn)acebook Reality Labs, 亞馬遜和商湯實習。研究方向為機器人感知和 3D 視覺。