如何實現(xiàn)面向三維點云的信息豐富的旋轉(zhuǎn)不變特征

論文題目：SpinNet: Learning a General Surface Descriptor for 3D Point Cloud Registration

作者：Sheng Ao, Qingyong Hu, Bo Yang, Andrew Markham, Yulan Guo

和二維圖像匹配類似，三維點云匹配中，實現(xiàn)能夠在兩個掃描幀之間共享的魯棒局部特征也是一直以來十分棘手的問題。這項任務(wù)的挑戰(zhàn)性在于：1）不同的掃描幀通常具有不同的視角，2）原始3D掃描通常是不完整的、具有較多噪聲且點密度明顯不同的。針對這項任務(wù)，已經(jīng)有許多傳統(tǒng)的方法被提出來，例如經(jīng)典的SHOT，ISS等。但是盡管它們在高質(zhì)量的3D點云上取得了令人鼓舞的結(jié)果，但它們不能推廣到高噪聲和大規(guī)模實際3D點云。最近，基于深度神經(jīng)網(wǎng)絡(luò)的點云匹配方法取得了出色的成果。然而，它們有兩個主要限制。第一，其中許多方法，如D3Feat和FCGF，依賴于基于核的點卷積或子流形稀疏卷積來提取每個點的特征，導(dǎo)致學(xué)得的點局部特征對旋轉(zhuǎn)敏感。因此，當(dāng)應(yīng)用于具有強烈旋轉(zhuǎn)變化的新型3D掃描幀時，它們的性能會急劇下降。第二，雖然最近一些方法引入了旋轉(zhuǎn)不變的點描述符，但它們只是將手工特征或外部局部參考坐標系集成到神經(jīng)網(wǎng)絡(luò)中，從根本上限制了網(wǎng)絡(luò)的表示能力。這篇論文則是致力實現(xiàn)用于三維點云匹配的信息豐富的旋轉(zhuǎn)不變特征。該網(wǎng)絡(luò)明顯滿足三個重要特性：1）它具有旋轉(zhuǎn)不變性，能從不同旋轉(zhuǎn)角度的3D掃描中學(xué)習(xí)一致的局部特征；2）它描述性強。本質(zhì)上，它保留了突出的局部特征，即使在噪聲、表面不完整或點密度不同時也能實現(xiàn)；3）它不包括任何手工設(shè)計的特征。這個工作將極大的促進三維點云的相關(guān)研究，提高對旋轉(zhuǎn)變換的魯棒性。

1 摘要

從點云配準和重建等下游任務(wù)來看，提取魯棒且普適的3D局部特征至關(guān)重要。現(xiàn)有的基于學(xué)習(xí)的局部描述符要么對旋轉(zhuǎn)變換敏感，要么依賴于經(jīng)典手工制作的特征，既不具有普適性也不具有代表性。本文引入了一種新的、概念上簡單的神經(jīng)結(jié)構(gòu)，稱為SpinNet，以提取旋轉(zhuǎn)不變但足夠信息豐富從而實現(xiàn)精確配準的局部特征。首先引入了一個空間點變形器將輸入的局部表面映射到一個精心設(shè)計的圓柱空間中，從而實現(xiàn)SO(2)等變表示的端到端優(yōu)化。然后利用強大的基于點和3D圓柱卷積神經(jīng)網(wǎng)絡(luò)層的神經(jīng)特征提取器來實現(xiàn)緊湊且具有代表性的描述符以用于匹配。在室內(nèi)外數(shù)據(jù)集上進行的大量實驗證明SpinNet顯著優(yōu)于現(xiàn)有的最新技術(shù)。更為重要的是，在不同傳感器模態(tài)的未見場景中具有最佳的泛化能力。

貢獻

我們提出了一個新的神經(jīng)特征學(xué)習(xí)器用于3D表面匹配。它具有旋轉(zhuǎn)不變性、代表性和在看不見的情況下具有卓越的泛化能力。

通過將轉(zhuǎn)換后的3D表面規(guī)則化成圓柱體，我們引入了強大的3D圓柱卷積來學(xué)習(xí)豐富和通用的特征。

我們進行了大量實驗和消融研究，證明了我們方法的顯著泛化能力。

2 方法

2.1 問題陳述

給定兩個部分重疊的點云和。點云配準的任務(wù)是找到最優(yōu)剛性變換，以及點對應(yīng)關(guān)系來對齊成對的片段，最終恢復(fù)完整的場景。點對應(yīng)關(guān)系需要滿足：

其中表示旋轉(zhuǎn)矩陣，表示平移向量， 是殘差誤差。在實踐中，由于這個問題的非凸性，同時找到對應(yīng)關(guān)系和估計變換是不可行的。但是，如果可以確定具有一對一對應(yīng)關(guān)系的點子集和，則配準問題可以簡化為以下L2距離的最小化問題：

其中是成功匹配到的對應(yīng)關(guān)系數(shù)，是一個置換矩陣，其元素滿足如果中的第個點對應(yīng)于中的第個點，則，否則為0。

我們提出了一種新的表面特征學(xué)習(xí)器SpinNet，它是一個映射函數(shù)，其中如果和 確實是正確匹配的，則等于任意剛性變換（如旋轉(zhuǎn)和平移）下的。特別地，我們的特征學(xué)習(xí)器主要由空間點形變器和神經(jīng)元特征提取器組成。

2.2 空間點形變器

這個模塊旨在將輸入的3D表面空間轉(zhuǎn)換為柱形體，在克服旋轉(zhuǎn)變化的同時不丟失局部關(guān)鍵信息。如圖2所示，它包括四個組成部分，如下所述。

基于參考坐標系進行對齊

給定局部表面中的特定點，我們首先從其半徑為的鄰域點集中估計一個朝向觀察方向的參考軸。然后使用旋轉(zhuǎn)矩陣將與Z軸對齊。與可能存在歧義和不穩(wěn)定的外部局部參考坐標系相比，我們估計出來的在旋轉(zhuǎn)變化方面更加魯棒和穩(wěn)定。隨后，將鄰域點集轉(zhuǎn)換為。為了實現(xiàn)平移不變性，我們進一步將標準化到中心點，即。因此，獲得的局部塊已經(jīng)與z軸對齊，剩下的旋轉(zhuǎn)自由度完全留給XY平面。

球形體素化

這是本文的核心，在設(shè)計網(wǎng)絡(luò)時需要引入一些幾何知識先驗實現(xiàn)一些歸一化，來加速訓(xùn)練、實現(xiàn)泛化：

為了進一步消除XY平面上的旋轉(zhuǎn)不變性，我們利用旋轉(zhuǎn)魯棒的球形表示。特別地，將塊視為球體，并沿徑向距離，仰角和方位角均勻地將其分成個體素。每個體素的中心點被表示為，其中, , 。然后，我們明確確定了每個體素中心點的一組鄰域點。具體來說，我們使用半徑查詢找到以固定半徑為基礎(chǔ)的鄰域點，其中。最后，我們隨機采樣并保留每個體素的個點，旨在實現(xiàn)并行計算的高效性。這個球形體素化步驟對于接下來的空間點變換至關(guān)重要。

歡迎關(guān)注微信公眾號「3D視覺工坊」，加群/文章投稿/課程主講，請加微信：dddvisiona，添加時請備注：加群/投稿/主講申請

在XY平面上的變換

為了使每個球形體素在XY平面上具有旋轉(zhuǎn)不變性，我們將每個體素主動繞Z軸旋轉(zhuǎn)，將其中心與YZ平面對齊，其中旋轉(zhuǎn)矩陣定義如下：

這種操作消除了每個體素在XY平面上的一個旋轉(zhuǎn)自由度，而不會丟失每個體素的任何局部幾何信息。值得注意的是，現(xiàn)有的方法通常使用手工特征來實現(xiàn)旋轉(zhuǎn)不變性，導(dǎo)致豐富的局部信息被丟失。獨特的是，我們的簡單策略可以保留這些信息。

圓柱體建模

一旦每個體素的局部幾何被轉(zhuǎn)換，進一步保留跨多個體素的較大空間結(jié)構(gòu)就變得至關(guān)重要。這要求將所有體素的相對位置在整個框架中表示出來。為此，我們將球形體素重新組合成一個圓柱體。這有利于所提出的三維圓柱卷積網(wǎng)絡(luò)，它保證了輸入局部表面的等變性，并保留了多個體素的拓撲模式。具體來說，給定經(jīng)過轉(zhuǎn)換的球形體素，每個都有一組相鄰點，我們將它們邏輯上投影到一個圓柱體積，表示為，如圖2所示。

總之，對于給定的輸入表面塊，我們的空間點變換器將其Z軸明確地與參考軸對齊，并主動地對XY平面上的球形體素模式進行轉(zhuǎn)換，并通過圓柱體建模進一步保留了拓撲表面結(jié)構(gòu)。顯然，該模塊使所有表面幾何保持完整，以供后續(xù)的神經(jīng)特征提取器學(xué)習(xí)。

2.3 神經(jīng)特征提取器

此模塊旨在使用強大的神經(jīng)網(wǎng)絡(luò)層從每個圓柱體素內(nèi)的轉(zhuǎn)換點中學(xué)習(xí)特征。如圖3所示，它包含兩個組件，具體討論如下。

基于點的網(wǎng)絡(luò)層

對于每個圓柱體素內(nèi)的點，我們使用共享的MLP（多層感知器）和最大池化函數(shù)學(xué)習(xí)每個體素的初始特征。形式上，基于點的網(wǎng)絡(luò)層定義為：

其中是D維的學(xué)習(xí)特征，請注意，MLP權(quán)重在所有球形體素之間共享。最終，我們得到一組3D圓柱特征圖。

三維圓柱卷積層

為了進一步學(xué)習(xí)多個體素之間的空間結(jié)構(gòu)，我們提出了一種高效的3D圓柱卷積網(wǎng)絡(luò)（3DCCN）。特別是，給定位于第層中第個圓柱特征圖上位置的一個體素，我們的3DCCN定義如下：

其中是徑向維度上的卷積核大小，和分別是卷積核的高度和寬度，是可學(xué)習(xí)的參數(shù)。

與現(xiàn)有的卷積操作非常不同，我們提出的3DCCN在以下兩個方面是新穎的。第一，由于圓柱特征圖在整個圓柱體上是360度連續(xù)的，因此我們的3DCCN被設(shè)計為繞這些特征圖進行卷積操作，即通過周期性邊界從?180度到180度。因此，我們的3DCCN中不需要顯式填充，但是在特征圖邊界處的3D CNN是必需的。第二， 與現(xiàn)有的3D流形稀疏卷積或核心點卷積相比，圍繞360度體積的連續(xù)卷積使得所獲取的特征圖具有等變性，從而實現(xiàn)了最終的旋轉(zhuǎn)不變性。在堆疊多個這些3DCCN層并進行最大池化之后，原始的圓柱特征圖被壓縮成了一個緊湊且具有代表性的特征向量。

2.3 端到端應(yīng)用細節(jié)

空間點形變器直接與神經(jīng)元特征提取器相連，隨后采用現(xiàn)有的對比損失進行端到端優(yōu)化。廣泛適用的批內(nèi)最難樣本抽樣也被即時采用，以最大化最近的正負樣本塊之間的距離。我們基于PyTorch框架實現(xiàn)了SpinNet。使用默認參數(shù)的Adam優(yōu)化器。初始學(xué)習(xí)率設(shè)置為0.001，并且每5個epoch衰減率為0.5。我們訓(xùn)練網(wǎng)絡(luò)20個epoch，然后使用在驗證集上表現(xiàn)最佳的模型進行測試。為了公平比較，我們在所有實驗中保持相同的設(shè)置。所有實驗在Intel Xeon CPU @2.30GHZ和NVIDIA RTX2080Ti GPU的平臺上進行。

審核編輯 ：李倩