一個實時單目追蹤和稠密建圖的算法框架TANDEM算法研究

01

概述

最近在研究TANDEM算法，是一個實時單目追蹤和稠密建圖的算法框架。TANDEM的算法框架可以概括為如下的幾個部分：

1、位姿計算----在關鍵幀實施基于滑窗的像素級集束優(yōu)化；

2、追蹤前端----實施直接稠密圖片配準，基于全局模型得到的深度圖；

3、CVA-MVSNet----使用全部關鍵幀來預測稠密深度圖；

4、全局地圖----使用預測的深度圖融合成全局地圖，表示為TSDF體素表格。

TANDEM的整體架構圖如下所示：

02 模塊介紹

相關工作這里就不贅述了，主要涵蓋了三維重建、RGB-D SLAM和單目SLAM三個方向的方法介紹和一般流程。這里，我們直接給出TANDEM算法框架中幾個關鍵組件的介紹，也即是單目視覺里程計、使用CVA-MVSNet進行稠密深度估計和體素建圖。

2.1單目視覺里程計

最近的一些方法，例如：DSO、ORB-SLAM，都是在多幀圖像中使用一組稀疏點來追蹤，最后計算出相機的位姿。雖然，使用更多的點來聯(lián)合優(yōu)化可以帶來性能方面的優(yōu)化，但是這回造成運行時間的顯著提高。因此，在TANDEM中提出的視覺里程計，借鑒了DSO中所描述的----直接稀疏窗口優(yōu)化后端。但是，TANDEM中還用了全局的TSDF模型來獲取稠密深度圖，這個深度圖主要是用在前端的直接圖像配準。

簡單總結，TANDEM使用了稠密追蹤前端和稀疏后端優(yōu)化相結合的方式來提高追蹤性能。

2.2稠密前端追蹤

TANDEM前端的特點：

提供實時相機幀頻的追蹤

作為后端窗口優(yōu)化的初始化輸入

實現(xiàn)前端稠密點追蹤（相較于DSO而言）

2.3CVA-MVSNet

2.3.1單階段深度計算

因為CVA-MVSNet使用了多階段的方式來解決了內(nèi)存損耗的問題，并且不同階段之間大同小異，因此我們選取一個階段進行詳細分析，然后就可以熟知整個網(wǎng)絡模型的作用和功能。

在分析之前，我們先給出模型輸入和輸出的一些變量的定義。

03 數(shù)據(jù)集和結果

1、訓練集

本文訓練了兩個CVA-MVSNet的模型：一個使用實際的ScanNet數(shù)據(jù)集、另一個使用擬合數(shù)據(jù)集Replica數(shù)據(jù)集，一些結果如下圖所示：

對于不可見的序列，本文的訓練結果如下圖所示：

2、測試集

本文中使用了ICL-NUIM數(shù)據(jù)集和EuRoc數(shù)據(jù)集中的Vicon室內(nèi)序列來評估稠密3D重建和追蹤的結果。具體的一些結果如下：

04 結論

TANDEM是一個實時稠密單目SLAM系統(tǒng)，使用了直接像素里程計和多視圖幾何。尤其提出了CVA-MVSNet使用整個關鍵幀窗口，預測高質量的深度圖；然后提出稠密追蹤模式連接相機位姿估計和稠密3D重建，針對于TSDF融合創(chuàng)建的全局3D模型。結果表明，TANDEM獲得更好的性能。 本文，我們對TANDEM論文進行了簡單的講解和分析，后續(xù)系列我們進一步深入分析論文的細節(jié)，以及后面的代碼講解分析。

審核編輯：劉清