通過RepSurf點云結(jié)構(gòu)實現(xiàn)多項任務(wù)SOTA

01 、摘要

大多數(shù)先前的工作通過坐標(biāo)表示點云的形狀。然而，直接利用坐標(biāo)描述局部幾何是不充分的。在本文中，我們提出了 RepSurf（representative surface），這是一種新穎的點云表示，顯式的描述了非常局部的點云結(jié)構(gòu)。

我們探索了 RepSurf 的兩種變體，Triangular RepSurf 和 Umbrella RepSurf，其靈感來自計算機圖形學(xué)中的三角形網(wǎng)格和傘形曲率。我們在表面重建后通過預(yù)定義的幾何先驗計算 RepSurf 的表征。RepSurf 可以成為絕大多數(shù)點云模型的即插即用模塊，這要歸功于它與無規(guī)則點集的自由協(xié)作。

基于 PointNet++（SSG 版本）的簡單基線，Umbrella RepSurf 在各種基準(zhǔn)上的分類、分割和檢測在性能和效率方面都大大超過了之前的 state-of-the-art。在只有0.008M參數(shù)數(shù)量、0.04G FLOPs 和 1.12ms推理時間的增的情況下，我們的方法在分類數(shù)據(jù)集 ModelNet40 上達到 94.7% （+0.5%），在 ScanObjectNN 上達到 84.6% （+1.8%） ；而在分割任務(wù)的 S3DIS 6-fold 上達到74.3%（+0.8%） mIoU，在ScanNet 上達到70.0% （+1.6%） mIoU 。

對于檢測任務(wù)，我們的 RepSurf 應(yīng)用于最先進的檢測器，并在 ScanNetV2 上達到71.2% （+2.1%） mAP25、54.8% （+2.0%） mAP50 和在 SUN RGB-D數(shù)據(jù)集上64.9% （+1.9%） mAP25、47.7% （+ 2.5%） mAP50的性能。我們的輕量級Triangular RepSurf 在這些基準(zhǔn)測試中同樣表現(xiàn)出色。

02、 介紹

對原始點云表征（Point Cloud Representation）的處理因其在自動駕駛、增強現(xiàn)實和機器人技術(shù)等各種應(yīng)用中的優(yōu)勢而引起了相當(dāng)大的關(guān)注。但是，點云局部表征的不穩(wěn)定性使得這個任務(wù)非常有難度。

局部形狀對于點云的學(xué)習(xí)至關(guān)重要。為了從局部結(jié)構(gòu)信息中學(xué)習(xí)，一些先前的工作從Grid（例如PointCNN）、Relation（例如RS-CNN）或Graph（例如DGCNN）中學(xué)習(xí)。

然而，這些方法通過加入更多成分（如歐幾里得距離、注意力機制）或應(yīng)用各種變換（如圖形構(gòu)造、體素化）隱式地從點云shape中提取局部特征。這些可能導(dǎo)致復(fù)雜的預(yù)處理或大量計算。我們認為這可能會導(dǎo)致在預(yù)定義成分時遺漏信息，或在轉(zhuǎn)換過程中損失幾何形狀。因此，本文探索了更穩(wěn)定的顯式點云局部表征。

03、 動機

我們首先受到泰勒級數(shù)的啟發(fā)。泰勒級數(shù)用導(dǎo)數(shù)表示局部曲線。為了簡化它，我們只考慮到二階導(dǎo)數(shù)。因此，我們可以通過其對應(yīng)的切線粗略地表示局部曲線，或者我們稱之為 3D 點云中的“surface”。

04、 方法

為了將2D Curve擴展到3D Surface，我們引入了兩種RepSurf變體（Triangular RepSurf和Umbrella RepSurf）來近似的描述點云局部特征：

兩種RepSurf的實現(xiàn)也非常簡潔：

05 、實驗

RepSurf分別在3D分類（ModelNet40，ScanObjectNN）、分割（S3DIS，ScanNet）、檢測（ScanNetV2，SUN RGBD）上達到了不俗的效果：

06 、結(jié)論

我們希望我們的工作能夠激發(fā)3D社區(qū)并喚起對點云的顯示表征的重新思考。我們認為 RepSurf 值得在不同領(lǐng)域（例如自動駕駛）或更大規(guī)模的點云上進行進一步探索，因為 RepSurf 有能力去處理真實場景中的大量背景點。RepSurf 還可以通過其對幾何敏感度的能力對點云采樣帶來幫助。

審核編輯：郭婷