一種采用點云空間投影的RGB-D點云分割技術(shù)

點云分割是點云處理的一個關(guān)鍵環(huán)節(jié)，其分割質(zhì)量決定了目標(biāo)測量、位姿估計等任務(wù)的精確與否。

1、引言目前，以立體成像技術(shù)為核心的立體相機獲得了多樣性發(fā)展，例如雙目相機、單目結(jié)構(gòu)光 相機、 TOF（timeofflight）相機等，其獲得的深度圖像（RGB-D）是在RGB 數(shù)據(jù)基礎(chǔ)上融合了深度數(shù)據(jù)， 在參考相機內(nèi)參下深度圖像可轉(zhuǎn)化為點云數(shù)據(jù)。根據(jù)立體相機的三維數(shù)據(jù)重建感興趣區(qū)域（ROI），目標(biāo)區(qū)域表面信息和背景信息的數(shù)據(jù)是混合在一起的，這給后續(xù)目標(biāo)的三維測量和分析處理帶來了一 定難度，因此采用點云分割技術(shù)進(jìn)行目標(biāo)區(qū)域和背 景點云分離是必要的途徑。

點云分割就是將數(shù)據(jù)分割成若干個互不相交的子集。點云分割的問題一般分為4類：1）具有 人類視覺意義的形狀確定2）獲取點云中與空間方位無關(guān)的幾何特征3）點云中各個形狀邊界的確定4）具有一致性的分割結(jié)果。

目前的點云分割方法分為兩類，即主要處理點與點之間拓?fù)潢P(guān)系的傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。

立體相機與激光雷達(dá)的不同之處在于拍攝場景信息所得的RGB-D數(shù)據(jù)具有物體表面的顏色紋理信息。不同于點云拓?fù)潢P(guān)系和深度學(xué)習(xí)的點云分割，本文介紹了一種采用點云空 間投影的RGB-D點云分割技術(shù)，首先介紹采用圖像閾值的點云分割和利用靶標(biāo)世界坐標(biāo)系的點云分割兩種基礎(chǔ)方法， 將在世界坐標(biāo)系中的靶標(biāo)作為參考旋轉(zhuǎn)點云，并將其投影至坐標(biāo)系水平面（XOY）上，利用圖像的形態(tài)學(xué)獲得目標(biāo)顯著區(qū)域，進(jìn)而獲得目標(biāo)點云數(shù)據(jù)。

2、圖像閾值與點云關(guān)系模型

2.1 相機數(shù)學(xué)模型

攝像機數(shù)學(xué)模型采用小孔成像的原理，在笛卡兒空間中建立景物點與成像點之間的映射關(guān)系。令點P=（Xw，Yw，Zw）為像素p（u，v）投射在世界坐標(biāo)系中的點，（u，v，1）是點p在像素坐標(biāo)系中的齊次坐標(biāo);（Xw，Yw，Zw，1）是點 P 在世界坐標(biāo)系中的 齊次坐標(biāo)。那么兩個坐標(biāo)的關(guān)系為

2.2 圖像閾值與點云的關(guān)系模型

RGB-D數(shù)據(jù)來自立體相機中RGB相機和 Depth相機，由于相機空間視角不同，兩組原始數(shù)據(jù)中RGB數(shù)值與深度數(shù)值不匹配。在標(biāo)定立體相機的外參數(shù)后，建立RGB像素值與 Depth數(shù)值兩者之間的一一對應(yīng)關(guān)系。采用圖像閾值的點云分割基本思路：根據(jù)圖像像素和點云的對應(yīng)關(guān)系進(jìn)行圖像分割，獲得目標(biāo)區(qū)域點云。

3、采用空間投影的點云分割方法

3.1 建立靶標(biāo)世界坐標(biāo)系

立體相機中依據(jù) RGB 相機和Depth相機的外參數(shù)，可以把Depth相機生成的點云轉(zhuǎn)換到相機坐標(biāo)系下。參考棋盤格建立世界坐標(biāo)系。利用靶標(biāo)世界坐標(biāo)系可實現(xiàn)一定程度的點云分割，其基本思路是：由于場景三維點云的空間尺度與世界坐標(biāo)系的空間尺度具有一致性，通過建立世界坐標(biāo)系并確定待測物體在世界坐標(biāo)系中的空間區(qū)域，可分割映射到世界坐標(biāo)系里的點云。

如圖1（a）所示，pc（xc，yc，zc）為相機坐標(biāo)系中的點云，Pw （Xw，Yw，Zw）是世界坐標(biāo)系中的點云，由（1）式可得

如圖1（b）所示，由于靶標(biāo)板（標(biāo)定板）所指定的 坐標(biāo)系相對于棋盤格角點所建立的世界坐標(biāo)系有一 定的偏移，這里采用補償?shù)姆绞竭M(jìn)行坐標(biāo)系校正。設(shè)靶標(biāo)的厚度為 Δz，世界坐標(biāo)系原點在待測區(qū)域的X和Y軸的偏移分別為Δx 和Δy，補償偏移量Δl3×1=［Δx Δy Δz］T，則（6）式可進(jìn)一步表示為

3.2 采用空間投影的點云分割方法

參考前述的圖像閾值、靶標(biāo)世界坐標(biāo)系與點云區(qū)域的關(guān)系，為了突出目標(biāo)區(qū)域以實現(xiàn)點云分割，可將點云的觀測視角旋轉(zhuǎn)至俯視角度（鳥瞰視角），如圖2所示，這樣可減少背景點云信息，使目標(biāo)點云呈現(xiàn)更多信息，采用相機模型將點云投影至相機的圖像像素。在得到旋轉(zhuǎn)投影后場景的二維圖像后，采用圖像閾值分割的方法可快速地得到目標(biāo)閾值范圍，還原后得到場景分割的目標(biāo)點云。

參考（6）式得到世界坐標(biāo)系中的點云 Pwl（Xwl， Ywl，Zwl），將其變換到場景點云的俯視角時，有：

根據(jù)單目攝像機模型，可以得到點云對應(yīng)的二值圖像坐標(biāo)為：

4、結(jié)果對比

4.1 場景點云獲取

為了驗證算法的可行性，搭建系統(tǒng)硬件，如圖3 所示，系統(tǒng) 包 括 靶 標(biāo) （尺 寸 規(guī) 格：棋 盤 格 角 點 數(shù) 為 5×7，方格大小為 34 mm×34mm）、雙目攝像機 （MER-500-7UM）、8mm定焦鏡頭、投影儀（BenQ） 和上位機［2.53GHzIntel（R）Core （TM）2Duo CPU，2GBRAM］。

待測場景如圖4（a）~（c）所示， RGB-D點云采用投影儀投射格雷碼編碼光柵和攝像機拍攝其光柵解碼所得，其中包含1幅明、暗視場 圖像以及40幅正交格雷碼編碼光柵圖像。建立三個層疊的米袋場景（場景1#、2#、3#），分別獲取整個場景并分割其米袋區(qū)域點云數(shù)據(jù)。根據(jù)張氏標(biāo)定方法建立的靶標(biāo)坐標(biāo)系，獲得外參數(shù)矩陣［R3×3t3×1］，將三個場景點云映射到世界坐標(biāo)系中，場景圖片在靶標(biāo)坐標(biāo)系中的點云如圖 4（d）~（f）所示。

利用圖像閾值與點云關(guān)系實現(xiàn)點云分割，首先獲得場景RGB圖，利用標(biāo)定參數(shù)進(jìn)行徑向與切向畸變校正，結(jié)果如圖5（a）所示;利用最大類間方差法 （Otsu）對校正后的場景圖進(jìn)行處理，以突出感興趣區(qū)域，結(jié)果如圖5（b）所示。

其次，對感興趣區(qū)域中的空洞進(jìn)行形態(tài)學(xué)處理，即空洞填充;建立點云坐標(biāo)與圖像像素坐標(biāo)的映射關(guān)系，并判斷所映射的點云是否在圖像感興趣區(qū)域里。最后分割出映射到感興趣區(qū)域的點云數(shù)據(jù)，如圖5（c）所示。

采用靶標(biāo)坐標(biāo)系與點云區(qū)域?qū)崿F(xiàn)點云分割，首先測量并確定目標(biāo)物體的待放置空間區(qū)域，把靶標(biāo)板放置在待測量物體區(qū)域內(nèi)，根據(jù)靶標(biāo)板手工測量或設(shè)計的規(guī)格參數(shù)確定 X 軸偏移量 Δx、Y 軸偏移 量 Δy 和靶標(biāo)板厚度 Δz。其次，在攝像機標(biāo)定過程 中，確定世界坐標(biāo)系 X 軸和Y 軸方向，如圖5（d）所示;并利用（6）、（7）式把相對于攝像機坐標(biāo)系的點云映射到依據(jù)靶標(biāo)板所建立的世界坐標(biāo)系中，如圖5（e）所示。最后，利用參考測量限定目標(biāo)物體放置區(qū)域，實現(xiàn)目標(biāo)點云分割，如圖5（f）所示。

在圖像閾值和靶標(biāo)世界坐標(biāo)系的基礎(chǔ)上可采用點云空間投影進(jìn)行點云分割，首先測量并確定目標(biāo)物體的待放置空間區(qū)域，把靶標(biāo)放置在待測量物體的區(qū)域內(nèi)，確定X軸偏移量Δx、Y 軸偏移量 Δy 和靶標(biāo)板厚度 Δz。其次，在攝像機標(biāo)定過程中，確定世界坐標(biāo)系X 軸和Y 軸方向。利用（9）式把點云視角變換至場景俯視角度，利用（13）、（14）式把三維點云映射到二維圖像中，如圖5（g）所示。

利用形態(tài)學(xué)對獲得的二維圖像進(jìn)行膨脹處理，如圖5（h）所示， 利 用連通域方法進(jìn)行感興趣區(qū)域圖像分割，如圖5（i） 所示。最后根據(jù)建立的點云與像素之間的映射關(guān)系， 還原圖像閾值分割所對應(yīng)的點云區(qū)域，如圖5（j）所示。

4.2 結(jié)果對比分析

點云分割實驗分別采用圖像閾值分割 （算法 I）、靶標(biāo)坐標(biāo)系（算法II）、空間投影（算法III）以及與 Halcon中的基于區(qū)域的方法（算法Ⅳ）進(jìn)行對比分析，對不同算法的參考點云總數(shù)和分割后點云數(shù) 進(jìn)行對比，如表1所示。

4種方法實現(xiàn)的點云分割（場景1#~3#的點云區(qū)域）結(jié)果如圖6所示。利用圖像閾值和點云映 射關(guān)系實現(xiàn)的點云分割如圖6（a）~（c）所示。立體相機的外參數(shù)誤差和相機非線性映射關(guān)系等導(dǎo)致攝 像機坐標(biāo)系下的點云坐標(biāo)與圖像像素坐標(biāo)的對應(yīng)關(guān)系存在一定的誤差。與此同時，點云分割密度直接受圖像閾值分割好壞的影響，在場景復(fù)雜且感興趣區(qū)域閾值分割較差的情況下，點云分割不理想。采用靶標(biāo)世界坐標(biāo)系和點云區(qū)域模型實現(xiàn)的點云分割 如圖6（d）~ （f）所示。

根據(jù)靶標(biāo)坐標(biāo)系的點云分割，需要測量感興趣區(qū)域的物理空間區(qū)域和應(yīng)用攝像機RGB圖像建立相應(yīng)的參考坐標(biāo)系，根據(jù)測量目 標(biāo)區(qū)域范圍可在不改變點云密度的情況下快速有效 地分割出目標(biāo)物點云。基于空間投影的點云分割方法，在目標(biāo)物區(qū)域建立世界坐標(biāo)系，利用坐標(biāo)系變換 改變目標(biāo)物點云投射視角，以突出目標(biāo)物的閾值特征，實現(xiàn)點云分割，如圖6（g）~（i）所示?；诳臻g投影的點云分割結(jié)果邊界清晰且質(zhì)量較佳，但由于其融合圖像閾值和靶標(biāo)坐標(biāo)系算法，其執(zhí)行速度相 對慢一些。Halcon視覺開發(fā)平臺中基于區(qū)域的點云分割方法，采用點云三角化后，根據(jù)區(qū)域的點、直徑、三角等結(jié)構(gòu)元素數(shù)值選定點云區(qū)域，結(jié)果如圖 6（j）~（l）所示。

責(zé)任編輯：lq