SuperPoint語(yǔ)義 SLAM深度學(xué)習(xí)用于特征提取

1. 概況

作者的寫作思路很清晰，把各個(gè)技術(shù)點(diǎn)這么做的原因?qū)懙暮芮宄?，全文共三篇，可以看清作者在使?a target="_blank">深度學(xué)習(xí)進(jìn)行位姿估計(jì)這一方法上的思路演變過(guò)程，為了把這一脈絡(luò)理清楚，我們按照時(shí)間順序?qū)@三篇文章分別解讀，分別是：

1）Deep Image Homography Estimation

2）Toward Geometric Deep SLAM

3）SuperPoint: Self-Supervised Interest Point Detection and Description

本期，我們首先對(duì)Deep Image Homography Estimation進(jìn)行解讀。

2. 第一篇

Deep Image Homography Estimation

礦視成果

參考R TALK |圖像對(duì)齊及其應(yīng)用(https://zhuanlan.zhihu.com/p/99758095Deep)

1.1. 概述

Deep Image Homography Estimation 是通過(guò)端到端的方式估計(jì)一對(duì)圖像的單應(yīng)矩陣。訓(xùn)練數(shù)據(jù)集是從MS-COCO上選取圖片，然后把這張圖片進(jìn)行單應(yīng)性變換得到圖象對(duì)的方式生成的。為了得到矩陣變換的置信度（比如slam中設(shè)置方差需要這些東西），作者把網(wǎng)絡(luò)分成兩部分，分別對(duì)應(yīng)兩種輸出，一種輸出單一變換結(jié)果，另一種輸出多個(gè)可能的變換結(jié)果，并給出每種變換結(jié)果的置信度，實(shí)際使用時(shí)，選擇置信度最高的那個(gè)。

1.2. 算法流程

1.2.1 基礎(chǔ)知識(shí)

本篇文章所提出的方法輸出的是單應(yīng)性矩陣，所謂單應(yīng)性矩陣，就是圖象中的目標(biāo)點(diǎn)認(rèn)為是在一個(gè)平面上，相應(yīng)的，如果不在一個(gè)平面上則被成為基礎(chǔ)矩陣。

在實(shí)際的slam應(yīng)用中，單應(yīng)矩陣在以下這三種情況時(shí)需要用到：

相機(jī)只有旋轉(zhuǎn)而無(wú)平移的時(shí)候，兩視圖的對(duì)極約束不成立，基礎(chǔ)矩陣F為零矩陣，這時(shí)候需要使用單應(yīng)矩陣H場(chǎng)景中的點(diǎn)都在同一個(gè)平面上，可以使用單應(yīng)矩陣計(jì)算像點(diǎn)的匹配點(diǎn)。

相機(jī)的平移距離相對(duì)于場(chǎng)景的深度較小的時(shí)候，也可以使用單應(yīng)矩陣H。

在大家熟悉的ORB-SLAM中初始化的時(shí)候，就是單應(yīng)矩陣和基礎(chǔ)矩陣同時(shí)估計(jì)，然后根據(jù)兩種方法估計(jì)出的結(jié)果計(jì)算重投影誤差，選擇重投影誤差最小的那個(gè)作為初始化結(jié)果。

1.2.2 建立模型

一個(gè)單應(yīng)矩陣其實(shí)就是一個(gè)3X3的矩陣，通過(guò)這個(gè)矩陣，可以把圖像中的一個(gè)點(diǎn)，投影到對(duì)應(yīng)的圖像對(duì)上去，對(duì)應(yīng)的公式為

在這篇文章中，作者為了更好的訓(xùn)練模型和評(píng)估算法效果，采用了另外一種模型，來(lái)等效代替上面的公式。我們知道，一張圖片進(jìn)行單應(yīng)性變換的時(shí)候，圖像上的點(diǎn)的坐標(biāo)會(huì)根據(jù)變換矩陣發(fā)生變化（如上式），那么反過(guò)來(lái)，如果我知道n個(gè)變換前后的點(diǎn)的坐標(biāo)，那么這兩張圖片之間的變換矩陣便可以得到，在平面關(guān)系中，n為4，即至少知道四個(gè)點(diǎn)就可以。因此作者用四個(gè)點(diǎn)對(duì)應(yīng)的變化量來(lái)建立一個(gè)新的模型，如下式所示

它和單應(yīng)性矩陣具有一一對(duì)應(yīng)的關(guān)系

這樣做的好處是，把圖片對(duì)之間的矩陣關(guān)系，轉(zhuǎn)換成了點(diǎn)和點(diǎn)之間的關(guān)系，在進(jìn)行精度評(píng)估時(shí)，可以直接根據(jù)轉(zhuǎn)換后的點(diǎn)的坐標(biāo)與真實(shí)的坐標(biāo)計(jì)算距離，作為誤差評(píng)估指標(biāo)，而且，還可以用于網(wǎng)絡(luò)中損失函數(shù)的計(jì)算。

1.2.3 生成數(shù)據(jù)集

作者采用MS-COCO作為數(shù)據(jù)集，不過(guò)該數(shù)據(jù)集中沒(méi)有圖像對(duì)，也即沒(méi)有單應(yīng)矩陣的真值，這是沒(méi)法進(jìn)行訓(xùn)練的。因此作者根據(jù)數(shù)據(jù)集中原有圖像，自動(dòng)生成了圖像對(duì)。具體方法如下圖所示

具體步驟為：

1.在圖像中選取一個(gè)長(zhǎng)方形區(qū)域，區(qū)域就可以用上面說(shuō)的四個(gè)點(diǎn)的模型來(lái)表示；

2.把區(qū)域的四個(gè)點(diǎn)隨機(jī)進(jìn)行平移，這樣就得到一個(gè)四邊形，這兩個(gè)四邊形之間的單應(yīng)矩陣也就是已知的；

3.把圖像按照這個(gè)單應(yīng)矩陣進(jìn)行變換，并選取被四邊形框住的區(qū)域；

4.這樣1)中和3)中得到的圖像就形成了一個(gè)已知真實(shí)單應(yīng)矩陣的圖像對(duì)。

1.2.4 設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)

本文的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示

網(wǎng)絡(luò)分成兩部分，分別是Classification HomographyNet 和 Regression HomograhyNet，后者是直接輸出8個(gè)量，這8個(gè)量自然就是四個(gè)點(diǎn)各自的x和y坐標(biāo)值。但這樣的缺點(diǎn)也很明顯，就是不知道每個(gè)坐標(biāo)值的置信度是多少，比如在slam中設(shè)置方差時(shí)就沒(méi)有根據(jù)。因此Classification HomographyNet就是在Regression HomograhyNet的基礎(chǔ)上，把輸出端改成了8X21的輸出向量，這里的8仍然是四個(gè)點(diǎn)各自的x和y坐標(biāo)，這里的21是每個(gè)坐標(biāo)值的可能值之一，并且給出了該值的概率，這樣就可以定量分析置信度了。該網(wǎng)絡(luò)所輸出的置信度的可視化效果如下圖所示

1.2.5 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果的精度評(píng)測(cè)方法就是根據(jù)每個(gè)點(diǎn)的坐標(biāo)按照單應(yīng)矩陣進(jìn)行轉(zhuǎn)換后，和真實(shí)坐標(biāo)進(jìn)行L2距離測(cè)量，再把四個(gè)點(diǎn)的誤差值取平均得到。作者把網(wǎng)絡(luò)兩部分的輸出和ORB特征計(jì)算的結(jié)果分別進(jìn)行了評(píng)測(cè)，對(duì)比結(jié)果如下：

從這張表里看，并沒(méi)有比ORB表現(xiàn)出明顯的優(yōu)勢(shì)，但是作者展示了幾張圖片，每個(gè)圖片里顯示了矯正之后的方框?qū)?，從方框?qū)χ锌梢悦黠@看出區(qū)別。左邊是ORB方法的，右邊是本文方法的。

1.3. 總結(jié)與思考

設(shè)計(jì)了一種端到端的單應(yīng)矩陣的估計(jì)方法，采用提取定點(diǎn)的結(jié)構(gòu)等效單應(yīng)矩陣，基于這種結(jié)構(gòu)設(shè)計(jì)了數(shù)據(jù)集產(chǎn)生方法和精度評(píng)測(cè)方法，最終的結(jié)果顯示效果要明顯高于ORB進(jìn)行的提取。

可以看到回歸的方法效果最好，但是分類的方法可以得到置信度，且可以可視化地糾正實(shí)驗(yàn)結(jié)果，在某些應(yīng)用中是有優(yōu)勢(shì)的。

作者總結(jié)了這個(gè)系統(tǒng)的兩個(gè)優(yōu)勢(shì)：

第一，速度快，借助英偉達(dá)的泰坦顯卡，可以實(shí)現(xiàn)每秒處理300幀的圖像。

第二，將計(jì)算機(jī)視覺(jué)中最基礎(chǔ)的單應(yīng)矩陣的估計(jì)問(wèn)題轉(zhuǎn)化為機(jī)器學(xué)習(xí)的問(wèn)題，可以針對(duì)應(yīng)用情景如使用SLAM的室內(nèi)導(dǎo)航機(jī)器人做特定優(yōu)化。

事實(shí)上，單應(yīng)矩陣在圖像拼接，ORB-SLAM算法和Augmented Reality(AR)，相機(jī)標(biāo)定中都有很重要的應(yīng)用。這篇文章的三個(gè)作者都來(lái)自Magic Leap公司，一家做AR的公司，已經(jīng)得到了Google和阿里巴巴等公司是十幾億美金的投資。

新的思考：

1）這種將深度學(xué)習(xí)用于解決傳統(tǒng)方法中遇到的困難的設(shè)計(jì)模式值的我們思考與學(xué)習(xí)，這樣可以充分的將誒和傳統(tǒng)與深度學(xué)習(xí)的共同特點(diǎn)。

2）這種從圖像中產(chǎn)生真值，然后在利用這些圖像去估計(jì)矩陣的方式是由于過(guò)擬合導(dǎo)致效果好？

3）單應(yīng)矩陣一般特征共面時(shí)使用，論文中最后對(duì)比效果所列的圖片明顯不是這種情況（展示數(shù)據(jù)可以理解為遠(yuǎn)視角場(chǎng)景），它之所以能對(duì)齊，是因?yàn)樗眠@個(gè)訓(xùn)練的，而ORB是根據(jù)真實(shí)的場(chǎng)景估計(jì)的，沒(méi)有共面假設(shè)，對(duì)比實(shí)驗(yàn)設(shè)計(jì)的合理性。