一種用于視覺(jué)定位的2D-3D匹配方法GAM

主要內(nèi)容：

提出了一種新的2D-3D匹配方法，幾何輔助匹配（GAM），使用外觀信息和幾何上下文來(lái)改進(jìn)2D-3D特征匹配，可以在保持高精度的同時(shí)增強(qiáng)2D-3D匹配的recall，將GAM插入到分層視覺(jué)定位pipeline中，表明GAM可以有效地提高定位的魯棒性和準(zhǔn)確性，其實(shí)驗(yàn)表明，GAM可以找到比手工啟發(fā)式和學(xué)習(xí)的方法更正確的匹配，在多個(gè)視覺(jué)定位數(shù)據(jù)集上獲得了最先進(jìn)的結(jié)果。

Contributions：

提出了GAM，首先根據(jù)視覺(jué)外觀為每個(gè)2D點(diǎn)建立多個(gè)候選匹配，然后根據(jù)幾何上下文過(guò)濾不正確的匹配。

提出了一種稱為BMNet的深度神經(jīng)網(wǎng)絡(luò)來(lái)處理多對(duì)多候選匹配，它可以預(yù)測(cè)每個(gè)2D-3D匹配的幾何先驗(yàn)并輸出全局最優(yōu)匹配集。

提出了一種具有新場(chǎng)景檢索策略的分層視覺(jué)定位方法，進(jìn)一步提高了姿態(tài)估計(jì)的魯棒性。

所提出的定位方法在多個(gè)數(shù)據(jù)集上優(yōu)于最先進(jìn)的方法。

幾何輔助匹配：

網(wǎng)絡(luò)架構(gòu)：

Hungarian Pooling：

如果直接訓(xùn)練g(g;θ)，網(wǎng)絡(luò)參數(shù)將很難學(xué)習(xí)，因?yàn)閹缀我恢滦钥赡芘c監(jiān)督?jīng)_突，如下圖所示。



2D圖像點(diǎn)與在3D空間中接近的兩個(gè)3D點(diǎn)匹配，在相同的相機(jī)姿勢(shì)下，它們可能都有小的重投影誤差，網(wǎng)絡(luò)易于根據(jù)提取的幾何特征為它們生成相似的權(quán)重，這兩種對(duì)應(yīng)關(guān)系都被認(rèn)為是幾何一致的。

然而其中只有一個(gè)是inlier，其余的則是outlier，多個(gè)對(duì)應(yīng)具有相似的幾何特征但具有不同標(biāo)簽的這種差異使得網(wǎng)絡(luò)難以收斂。

為了解決這個(gè)問(wèn)題，將匈牙利算法引入到網(wǎng)絡(luò)中進(jìn)行端到端訓(xùn)練。匈牙利算法可以找到全局最優(yōu)的一對(duì)一匹配，因?yàn)橹贿x擇了兩個(gè)對(duì)應(yīng)關(guān)系中的一個(gè)，所以可以消除幾何一致性和監(jiān)督之間的差異。

基于由g(g;θ)預(yù)測(cè)的權(quán)重向量w和二分圖g，權(quán)重矩陣w被構(gòu)造為：

其中W的未填充元素被設(shè)置為0，然后將匈牙利算法應(yīng)用于該權(quán)重矩陣W獲得匹配M的最大權(quán)重。分配向量s由下列公式獲得：

由于輸出邊緣來(lái)自輸入邊緣的子集，引入匈牙利算法的層可以被視為一個(gè)特殊的采樣層，稱之為匈牙利池，端到端訓(xùn)練中使用的反向傳播公式如下：

分層定位pipeline：



對(duì)于查詢圖像，提取其全局特征和局部特征，全局特征用于粗略定位以確定要匹配的3D點(diǎn)集，提取的局部特征和結(jié)合相應(yīng)描述符的3D點(diǎn)集都被送到GAM中以獲得全局最優(yōu)2D-3D對(duì)應(yīng)。

整個(gè)定位過(guò)程分為三個(gè)模塊，即場(chǎng)景檢索、2D-3D特征匹配和先驗(yàn)引導(dǎo)姿態(tài)估計(jì)。

場(chǎng)景檢索：

2D-3D特征匹配：

根據(jù)場(chǎng)景檢索的順序執(zhí)行GAM并輸出匹配的2D-3D對(duì)應(yīng)，對(duì)于第k個(gè)場(chǎng)景，獲取其3D點(diǎn)和相應(yīng)的描述子來(lái)構(gòu)建3D特征集，在從查詢圖像提取的2D局部特征和3D特征之間執(zhí)行GAM，輸出匹配M的最大權(quán)重，根據(jù)歐氏距離執(zhí)行kNN比率匹配，當(dāng)描述子被歸一化時(shí)，這可以通過(guò)矩陣運(yùn)算有效地實(shí)現(xiàn)。

先驗(yàn)引導(dǎo)的姿態(tài)估計(jì)：

由于M中仍然存在一些錯(cuò)誤匹配，在RANSAC循環(huán)中應(yīng)用PnP解算器，在RANSAC loop中，采樣2D-3D對(duì)應(yīng)的概率由BMNet預(yù)測(cè)的似然決定，這使得能夠以更大的機(jī)會(huì)對(duì)可能的inlier進(jìn)行采樣。

實(shí)驗(yàn)：

首先進(jìn)行了2D-3D匹配實(shí)驗(yàn)，表明GAM以比手工制作的方法和學(xué)習(xí)方法更高的精度找到更多的真實(shí)匹配。

數(shù)據(jù)集：MegaDepth數(shù)據(jù)集中選擇一個(gè)位置作為2D-3D匹配評(píng)估的測(cè)試數(shù)據(jù)集。

將GAM與傳統(tǒng)手工制作方法和學(xué)習(xí)匹配方法進(jìn)行了比較 使用最近鄰（NN）匹配器從描述符空間中的每個(gè)2D點(diǎn)的所有3D點(diǎn)中找到最近鄰，手工制作的異常值剔除方法包括比率測(cè)試（ratio）、距離閾值（distance）和彼此最近的鄰居（cross check），因?yàn)闆](méi)有其他基于學(xué)習(xí)的方法直接用于2D-3D特征匹配，因此將最近提出的一些在2D-2D匹配中表現(xiàn)良好的方法遷移到2D-3D進(jìn)行比較，將LGCNet和OANet的輸入從2D-2D對(duì)應(yīng)替換為2D3D對(duì)應(yīng)，即LGCNet-2D3D和OANet2D3D



評(píng)估GAM在視覺(jué)定位方面的有效性以及提出的視覺(jué)定位框架： 數(shù)據(jù)集：Aachen Day-Night



與SOTA定位方法的比較： 數(shù)據(jù)集：Cambridge Landmarks 和Aachen Day-Night



總結(jié)：


提出了一種用于視覺(jué)定位的2D-3D匹配方法GAM，同時(shí)使用外觀信息和幾何上下文來(lái)提高匹配性能，在保持高精度的同時(shí)提高了2D-3D匹配的召回率，其引入了一種新的二部匹配神經(jīng)網(wǎng)絡(luò)BMNet以提取2D-3D對(duì)應(yīng)的幾何特征，并可以學(xué)習(xí)全局幾何一致性以預(yù)測(cè)每個(gè)對(duì)應(yīng)的真實(shí)匹配的可能性，還將匈牙利算法集成到BMNet中作為一個(gè)特殊的池層以端到端的方式找到最大權(quán)重匹配，使得定位能夠獲得更正確的匹配從而提高了定位的魯棒性和準(zhǔn)確性。

審核編輯：劉清