基于攝像技術(shù)的點(diǎn)云配準(zhǔn)

一、點(diǎn)云配準(zhǔn)基礎(chǔ)知識(shí)

1．入門知識(shí)及背景

1）點(diǎn)云概念

點(diǎn)云是在同一空間參考系下表達(dá)目標(biāo)空間分布和目標(biāo)表面特性的海量點(diǎn)集合，在獲取物體表面每個(gè)采樣點(diǎn)的空間坐標(biāo)后，得到的是點(diǎn)的集合，稱之為“點(diǎn)云”（Point Cloud）。

2）點(diǎn)云圖像是最基礎(chǔ)也是最常見的三維圖像。

那什么是三維圖像呢？三維圖像是一種特殊的圖像信息表達(dá)形式。相比較于常見的二維圖像，其最大的特征是表達(dá)了空間中三個(gè)維度（長度寬度和深度）的數(shù)據(jù)。

3）三維圖像的表現(xiàn)形式

深度圖（以灰度表達(dá)物體與相機(jī)的距離），幾何模型（由CAD軟件建立），點(diǎn)云模型（所有逆向工程設(shè)備都將物體采樣成點(diǎn)云）。

4）點(diǎn)云根據(jù)測量原理主要分為兩種

根據(jù)激光測量原理得到的點(diǎn)云，包括三維坐標(biāo)（XYZ）和激光反射強(qiáng)度（Intensity）。強(qiáng)度信息與目標(biāo)的表面材質(zhì)、粗糙度、入射角方向，以及儀器的發(fā)射能量，激光波長有關(guān)。

根據(jù)攝影測量原理得到的點(diǎn)云，包括三維坐標(biāo)（XYZ）和顏色信息（RGB）。

當(dāng)然也有把激光和攝影相結(jié)合在一起的（多傳感器融合技術(shù)），這種結(jié)合激光測量和攝影測量原理得到點(diǎn)云，包括三維坐標(biāo)（XYZ）、激光反射強(qiáng)度（Intensity）和顏色信息（RGB）。

本次的文章主要講的是基于攝像技術(shù)的點(diǎn)云配準(zhǔn)。

5）點(diǎn)云的獲取設(shè)備

RGBD設(shè)備（深度攝像機(jī)）是可以獲取點(diǎn)云的設(shè)備。比如PrimeSense公司的PrimeSensor、微軟的Kinect、華碩的XTionPRO。

6）點(diǎn)云的屬性

空間分辨率、點(diǎn)位精度、表面法向量等。

7）點(diǎn)云存儲(chǔ)格式

.pts;.asc ; *.dat; .stl ; [1] .imw；.xyz；.las。

8）點(diǎn)云的數(shù)據(jù)類型

（1）pcl::PointXYZ

PointXYZ 成員：float x，y，z;表示了xyz3D信息，可以通過points[i].data[0]或points[i].x訪問點(diǎn)X的坐標(biāo)值

（2）pcl::PointXYZI

PointXYZI成員：float x, y, z, intensity; 表示XYZ信息加上強(qiáng)度信息的類型。

（3）pcl::PointXYZRGB

PointXYZRGB 成員：float x,y,z,rgb; 表示XYZ信息加上RGB信息，RGB存儲(chǔ)為一個(gè)float。

（4）pcl::PointXYZRGBA

PointXYZRGBA 成員：float x , y, z; uint32_t rgba; 表示XYZ信息加上RGBA信息，RGBA用32bit的int型存儲(chǔ)的。

（5） PointXY 成員：float x,y;簡單的二維x-y點(diǎn)結(jié)構(gòu)

（6）Normal結(jié)構(gòu)體：

表示給定點(diǎn)所在樣本曲面上的法線方向，以及對(duì)應(yīng)曲率的測量值，用第四個(gè)元素來占位，兼容SSE和高效計(jì)算

9）點(diǎn)云處理的三個(gè)層次

一般將圖像處理分為三個(gè)層次，低層次包括圖像強(qiáng)化，濾波，關(guān)鍵點(diǎn)/邊緣檢測等基本操作。中層次包括連通域標(biāo)記（label），圖像分割等操作。高層次包括物體識(shí)別，場景分析等操作。工程中的任務(wù)往往需要用到多個(gè)層次的圖像處理手段。

PCL官網(wǎng)對(duì)點(diǎn)云處理方法給出了較為明晰的層次劃分：

低層次處理方法

①濾波方法：雙邊濾波、高斯濾波、條件濾波、直通濾波、隨機(jī)采樣一致性濾波。②關(guān)鍵點(diǎn)：ISS3D、Harris3D、NARF，SIFT3D

中層次處理方法

①特征描述：法線和曲率的計(jì)算、特征值分析、SHOT、PFH、FPFH、3D Shape Context、Spin Image

②分割與分類：

分割：區(qū)域生長、Ransac線面提取、全局優(yōu)化平面提取

K-Means、Normalize Cut（Context based）

3D Hough Transform(線、面提取)、連通分析

分類：基于點(diǎn)的分類，基于分割的分類，基于深度學(xué)習(xí)的分類（PointNet，OctNet）

高層次處理方法

①配準(zhǔn)

點(diǎn)云配準(zhǔn)分為粗配準(zhǔn)（Coarse Registration）和精配準(zhǔn)（Fine Registration）兩個(gè)階段。

精配準(zhǔn)的目的是在粗配準(zhǔn)的基礎(chǔ)上讓點(diǎn)云之間的空間位置差別最小化。應(yīng)用最為廣泛的精配準(zhǔn)算法應(yīng)該是ICP以及ICP的各種變種（穩(wěn)健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP）。

粗配準(zhǔn)是指在點(diǎn)云相對(duì)位姿完全未知的情況下對(duì)點(diǎn)云進(jìn)行配準(zhǔn)，可以為精配準(zhǔn)提供良好的初始值。當(dāng)前較為普遍的點(diǎn)云自動(dòng)粗配準(zhǔn)算法包括基于窮舉搜索的配準(zhǔn)算法和基于特征匹配的配準(zhǔn)算法。

基于窮舉搜索的配準(zhǔn)算法：

遍歷整個(gè)變換空間以選取使誤差函數(shù)最小化的變換關(guān)系或者列舉出使最多點(diǎn)對(duì)滿足的變換關(guān)系。如RANSAC配準(zhǔn)算法、四點(diǎn)一致集配準(zhǔn)算法（4-Point Congruent Set, 4PCS）、Super4PCS算法等……

基于特征匹配的配準(zhǔn)算法：

通過被測物體本身所具備的形態(tài)特性構(gòu)建點(diǎn)云間的匹配對(duì)應(yīng)，然后采用相關(guān)算法對(duì)變換關(guān)系進(jìn)行估計(jì)。如基于點(diǎn)FPFH特征的SAC-IA、FGR等算法、基于點(diǎn)SHOT特征的AO算法以及基于線特征的ICL等…

②SLAM圖優(yōu)化

Ceres（Google的最小二乘優(yōu)化庫，很強(qiáng)大）， g2o、LUM、ELCH、Toro、SPA

SLAM方法：ICP、MBICP、IDC、likehood Field、NDT

③三維重建

泊松重建、 Delaunay triangulations、表面重建，人體重建，建筑物重建，樹木重建。結(jié)構(gòu)化重建：不是簡單的構(gòu)建一個(gè)Mesh網(wǎng)格，而是為場景進(jìn)行分割，為場景結(jié)構(gòu)賦予語義信息。場景結(jié)構(gòu)有層次之分，在幾何層次就是點(diǎn)線面。實(shí)時(shí)重建：重建植被或者農(nóng)作物的4D（3D+時(shí)間）生長態(tài)勢；人體姿勢識(shí)別；表情識(shí)別；

④點(diǎn)云數(shù)據(jù)管理

點(diǎn)云壓縮，點(diǎn)云索引（KD、Octree），點(diǎn)云LOD（金字塔），海量點(diǎn)云的渲染。

參考博客：blog.csdn.net/hongju_ta

10）點(diǎn)云配準(zhǔn)在三維重建中的應(yīng)用

以上是關(guān)于點(diǎn)云配準(zhǔn)的最最基礎(chǔ)的知識(shí)，其他專業(yè)的知識(shí)請(qǐng)參見一下其他博客。

1. 關(guān)于三維計(jì)算機(jī)視覺的研究內(nèi)容

cnblogs.com/yhlx125/p/4

2. 關(guān)于點(diǎn)云數(shù)據(jù)處理方法

（三維計(jì)算機(jī)視覺中點(diǎn)云數(shù)據(jù)處理面對(duì)的問題，主要方法和技術(shù)，概述其特點(diǎn)。）

blog.csdn.net/pdw521/ar

二、書籍和文獻(xiàn)

書籍

由于純粹的點(diǎn)云配準(zhǔn)技術(shù)發(fā)展的并不是很成熟，所以關(guān)于點(diǎn)云配準(zhǔn)的書籍目前很少，我了解的書籍只有一本國防工業(yè)出版社的《點(diǎn)云數(shù)據(jù)配準(zhǔn)及曲面細(xì)分技術(shù)》講解了點(diǎn)云配準(zhǔn)的相關(guān)技術(shù)，但主要內(nèi)容稍顯過時(shí)，適合沒有基礎(chǔ)的小白看看，參考意義不多。

筆者主要還是從博客和碩士博士論文中學(xué)習(xí)

文獻(xiàn)

朱琛琛. 基于ICP算法的點(diǎn)云配準(zhǔn)研究[D]. 2019.（注：基于攝像技術(shù)的點(diǎn)云配準(zhǔn)）

點(diǎn)云配準(zhǔn)若干問題研究[D].2018. （注：基于雷達(dá)激光的點(diǎn)云配準(zhǔn)）

Besl P J , Mckay H D . A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2):0-256.

Aiger D , Mitra N J , Cohen-Or D . 4-points congruent sets for robust pairwise surface registration[J]. ACM Transactions on Graphics, 2008, 27(3):1.

Automatic registration of large-scale urban scene point clouds based on semantic feature points[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 113:43-58.

三、課程與博客

1）點(diǎn)云配準(zhǔn)算法的說明與流程介紹：

blog.csdn.net/Ha_ku/art

2）幾種點(diǎn)云配準(zhǔn)算法的方法的介紹與比較：

blog.csdn.net/weixin_43

3）三維點(diǎn)云用機(jī)器學(xué)習(xí)的方法進(jìn)行處理：

blog.csdn.net/u01463624

4）以一個(gè)例子詳細(xì)介紹了點(diǎn)云配準(zhǔn)的過程：

zhihu.com/question/3417

四、數(shù)據(jù)集

The Stanford 3D Scanning Repository（斯坦福大學(xué)的3d掃描存儲(chǔ)庫）

鏈接：graphics.stanford.edu/d

這應(yīng)該是做點(diǎn)云數(shù)據(jù)最初大家用最多的數(shù)據(jù)集，其中包含最開始做配準(zhǔn)的Bunny、Happy Buddha、Dragon等模型。

Shapenet

ShapeNet是一個(gè)豐富標(biāo)注的大規(guī)模點(diǎn)云數(shù)據(jù)集，其中包含了55中常見的物品類別和513000個(gè)三維模型。

The KITTI Vision Benchmark Suite

鏈接：cvlibs.net/datasets/kit

這個(gè)數(shù)據(jù)集來自德國卡爾斯魯厄理工學(xué)院的一個(gè)項(xiàng)目，其中包含了利用KIT的無人車平臺(tái)采集的大量城市環(huán)境的點(diǎn)云數(shù)據(jù)集（KITTI），這個(gè)數(shù)據(jù)集不僅有雷達(dá)、圖像、GPS、INS的數(shù)據(jù)，而且有經(jīng)過人工標(biāo)記的分割跟蹤結(jié)果，可以用來客觀的評(píng)價(jià)大范圍三維建模和精細(xì)分類的效果和性能。

Robotic 3D Scan Repository

鏈接：kos.informatik.uni-osnabrueck.de

這個(gè)數(shù)據(jù)集比較適合做SLAM研究，包含了大量的Riegl和Velodyne雷達(dá)數(shù)據(jù)

佐治亞理工大型幾何模型數(shù)據(jù)集

鏈接：cc.gatech.edu/projects/

PASCAL3D+

鏈接：cvgl.stanford.edu/proje

包含了12中剛體分類，每一類超過了3000個(gè)實(shí)例。并且包含了對(duì)應(yīng)的imageNet中每一類的圖像。

其他總結(jié)

鏈接：github.com/timzhang642/

五、開源工具

MeshLab

簡介：是一款開源、可移植和可擴(kuò)展的三維幾何處理系統(tǒng)。主要用于處理和編輯3D三角網(wǎng)格，它提供了一組用于編輯、清理、修復(fù)、檢查、渲染、紋理化和轉(zhuǎn)換網(wǎng)格的工具。提供了處理由3D數(shù)字化工具/設(shè)備生成的原始數(shù)據(jù)以及3D打印功能，功能全面而且豐富。MeshLab支持多數(shù)市面上常見的操作系統(tǒng)，包括Windows、Linux及Mac OS X，支持輸入/輸出的文件格式有：STL 、OBJ 、 VRML2.0、U3D、X3D、COLLADA MeshLab可用于各種學(xué)術(shù)和研究環(huán)境，如微生物學(xué)、文化遺產(chǎn)及表面重建等。