【機(jī)器視覺】3D抓取—基于模板匹配

基于模板匹配方法

已知物體模型，從不同方向提取RGBD特征，處理生成模板與實(shí)際圖像每個(gè)位置進(jìn)行匹配，匹配成功得到目標(biāo)的位姿信息。

2011Linemod經(jīng)典鼻祖論文：Multimodaltemplates for real-time detection of texture-less objects in heavily clutteredscenes（Linemod）

2012改進(jìn)Linemod：Gradient Response Maps for Real-Time Detection of Texture-Less Objects

左：可辨別的圖像梯度主要在輪廓上找到。梯度位置粉紅色顯示

中：深度傳感器獲取的表面法向量

右：2D圖像梯度和3D表面法線的組合->增加魯棒性

視覺提示的互補(bǔ)性：梯度通常在物體輪廓上找到，而在物體內(nèi)部找到曲面法線

研究方向與問題：復(fù)雜背景下3D物體的實(shí)時(shí)檢測與定位

依據(jù)：采用彩色圖像的梯度信息結(jié)合物體表面的法向特征作為模板匹配

算法場景：復(fù)雜場景、無紋理、多模板

應(yīng)用：opencv封裝（（參考2中有函數(shù)解釋）），基于ros的object recognition kitchen中有配套的模型生成圖像的程序、ICP后處理的教程跟代碼

算法流程：

（1）概念性

一個(gè)模板是一個(gè)特征點(diǎn)序列（多模態(tài)時(shí)為多個(gè)序列），特征點(diǎn)彼此不能太近且要有足夠的代表性。

輸入RGBD數(shù)據(jù)

（2）計(jì)算梯度方向

以彩色梯度為例，先進(jìn)行7*7的高斯模糊，然后利用Sobel算子計(jì)算梯度，繼而在每個(gè)像素點(diǎn)求解出了梯度方向以及幅值，只有超過一定閾值的梯度才會被保留；

接著在3*3的領(lǐng)域內(nèi)統(tǒng)計(jì)梯度的方向，數(shù)量超過5的梯度方向才會被采用；

此處梯度方向都是無符號的，只取上一半，Opencv實(shí)現(xiàn)的代碼里分為8個(gè)方向（量化為5)。這種提取特征的方式對于梯度起到了主成分提取和放大的效果。

經(jīng)過訓(xùn)練生成文件信息。

?

（3）方向擴(kuò)散

對被搜索圖像（原圖）也要進(jìn)行梯度的計(jì)算，并且對梯度的方向做方向的拓展。

繼而利用模板進(jìn)行滑窗匹配時(shí)就有了一定的容錯(cuò)度，匹配容錯(cuò)。

（4）預(yù)處理響應(yīng)圖

制作查找表，算法匹配速度快；

針對n(=8)個(gè)方向和方向擴(kuò)散圖逐個(gè)像素進(jìn)行匹配，匹配的結(jié)果是距離最近方向角度的余弦值；

值得注意的是，雖然這里有八個(gè)方向，但是夾角只有五種情況（算的直線夾角而非射線），故而匹配的結(jié)果只有五種；

響應(yīng)圖是被搜索圖（原圖）各個(gè)位置下對應(yīng)擴(kuò)展方向的二進(jìn)制表示，模板圖像共有5個(gè)方向，那么相應(yīng)生成5張響應(yīng)圖Response Maps，利用模板進(jìn)行匹配，可以直接調(diào)用對應(yīng)方向在對應(yīng)像素的結(jié)果，避免了滑窗時(shí)重復(fù)的計(jì)算。

（5）線性存儲

避免重復(fù)計(jì)算，加速計(jì)算

（6）擴(kuò)展深度圖

?

實(shí)際應(yīng)用中的問題

遮擋場景無法處理

改進(jìn)與優(yōu)化

linemod存在兩個(gè)問題，一個(gè)對尺度變化敏感，一個(gè)遮擋情況下效果變差?！?】改進(jìn)詳見6D pose（見方法3）。

審核編輯：黃飛