面向SLAM魯棒應(yīng)用提出了基于RGB特征點(diǎn)提取算法

摘 要 ：視覺 SLAM（Simultaneous Localization And Mapping）的魯棒性是困擾其走向應(yīng)用的瓶頸，其中特征點(diǎn)提取算法的魯棒性是重要影響因素。針對目前特征點(diǎn)提取算法普遍基于灰度圖像，造成較大信息損失的問題，提出 RGB 圖像的信息熵度量，驗(yàn)證了 RGB 圖像變換為灰度圖像的信息損失。在此基礎(chǔ)上，提出了基于信息熵評價(jià)的特征點(diǎn)提取算法，根據(jù) RGB 圖像三個(gè)通道的信息熵確定灰度變換權(quán)重，最大限度保留圖像信息 ；然后利用 FAST算法進(jìn)行特征提取 ；最后直接基于 RGB 三通道構(gòu)建特征描述子，實(shí)現(xiàn)特征在像素級的融合，為特征匹配提供可靠的依據(jù)。通過實(shí)驗(yàn)證明，改進(jìn)的 RGB 特征點(diǎn)提取算法的匹配精度相比經(jīng)典 ORB 算法在一定程度上有所提高 ；同時(shí)，相較于使用 RANSC 算法的 ORB 算法，二者精度基本相同，但較大程度地縮短了處理時(shí)間，基本可以滿足實(shí)時(shí)處理的需求。

0 引 言

視覺SLAM（Simultaneous Localization And Mapping）的關(guān)鍵是建立圖像間魯棒的特征點(diǎn)匹配關(guān)系，其決定著攝像機(jī)運(yùn)動參數(shù)的求解精度和目標(biāo)點(diǎn)三維世界坐標(biāo)重建精度[1]，而影響匹配效果的重要因素是特征點(diǎn)提取算法。當(dāng)前相對成熟的視覺SLAM解決方案有 Mono[2]、PTAM[3]、ORBSLAM[4]、SVO[5]、LSD-SLAM[6]和ORBSLAM2[7]等，普遍基于灰度圖像進(jìn)行特征點(diǎn)提取即匹配，對于環(huán)境對比明顯的情況表現(xiàn)相對穩(wěn)定，尤其ORBSLAM2更是因采用ORB特征在室外環(huán)境也有著較好的表現(xiàn) ；相比于 SIFT、SURF 等多尺度提取算法，ORB特征提取算法簡單，匹配精度相對較高，適合實(shí)時(shí)應(yīng)用的場合。但也存在著當(dāng)環(huán)境局部紋理或結(jié)構(gòu)相似時(shí)所提取特征點(diǎn)的描述子無法加以區(qū)別的問題，從而造成錯(cuò)誤匹配，而這種錯(cuò)誤在多數(shù)應(yīng)用場景下是無法接受的。為此，尋求更為魯棒的特征點(diǎn)提取算法對于視覺SLAM就顯得尤為重要。隨著彩色圖像處理技術(shù)的不斷發(fā)展，基于彩色圖像的特征提取已經(jīng)應(yīng)用在很多場合。彩色圖像包含的特征信息要多于灰度圖像，它不僅包含灰度圖所攜帶的特征信息，還包含飽和度及色度分量的特征信息。據(jù)統(tǒng)計(jì)，基于灰度圖像提取的特征信息僅占原始彩色圖像的百分之九十。本文將充分挖掘彩色圖像所包含的信息，構(gòu)建基于RGB圖像特征點(diǎn)提取算法，以此提高視覺SLAM的魯棒性。

1 RGB圖像信息熵度量

圖像特征點(diǎn)提取的本質(zhì)即信息的提取，如果能對灰度圖像和彩色圖像包含信息進(jìn)行特定度量和比較，將為信息提取算法提供理論上的指導(dǎo)。按照 Marr 計(jì)算理論 [8]，圖像中的信息即圖像中顏色或亮度的變化，呈現(xiàn)出的是物體和物體的關(guān)系以及與人的關(guān)系的要素。如果把一幅圖像看作一個(gè)虛構(gòu)零記憶“灰度信源”的輸出時(shí)，可以通過觀察圖像的直方圖來估計(jì)該信源的符號概率。假設(shè)圖像大小為M×N，灰度范圍為 [0，L-1]，rk為此區(qū)間的離散灰度隨機(jī)變量，nk為第k級灰度在圖像中出現(xiàn)的次數(shù)。這時(shí)，灰度信源的熵變?yōu)?：

其中，

目前對于RGB值和灰度的轉(zhuǎn)換，從心理學(xué)的角度來看滿足人眼從彩色到亮度的感覺轉(zhuǎn)換，對紅、綠、藍(lán)三種顏色賦以固定權(quán)重，通過加權(quán)求和得到灰度值，數(shù)學(xué)關(guān)系如下 ：

其中：R、G、B 分別為對應(yīng)像素的紅、綠、藍(lán)分量；Grey為轉(zhuǎn)換后像素的灰度值。

根據(jù)式（1）圖像信息熵的定義，變換后的灰度圖像的信息熵可輕易求得，而原始 RGB 圖像的信息熵成為問題的關(guān)鍵。如果將 RGB 圖像看作三個(gè)獨(dú)立圖層的簡單疊加，則它的信息熵就是三個(gè)圖層信息熵的和，即 ：

其中：HR、HG、HB 分別為R、G、B三個(gè)圖層對應(yīng)的信息熵，而HRGB為彩色圖像總的信息熵。此種定義在形式上比較簡單，但其割裂了三個(gè)圖層的彼此聯(lián)系，這與實(shí)際情況不符。為最大限度反映彩色圖像的信息規(guī)律，將R、G、B 三個(gè)圖層看作一個(gè)整體，某個(gè)像素看作隨機(jī)向量rRGB=(R, G, B)，R∈[0,L-1]，G ∈[0, L-1]，B∈[0, L-1]，則其信息熵可定義為：

其中，

在此運(yùn)用上述定義對變換前后的RGB圖像和灰度圖像的信息進(jìn)行比較，為得到可靠的結(jié)果，選用了4幅不同場景的圖像進(jìn)行變換，其結(jié)果如圖1所示。

由圖1可以看出，RGB信息熵都遠(yuǎn)大于相對應(yīng)的灰度圖像信息熵。也就是彩色圖像變換為灰度圖像后，圖像的信息量有比較大的損失，對后續(xù)的特征提取必將產(chǎn)生影響。

2 基于RGB特征點(diǎn)提取算法

基于RGB圖像的特征點(diǎn)提取算法可分為三類 ：一是基于輸出融合，分別對RGB圖像三個(gè)通道進(jìn)行特征提取，根據(jù)設(shè)計(jì)的融合準(zhǔn)則得到整體的特征，實(shí)現(xiàn)相對簡單，但容易導(dǎo)致信息丟失 ；二是基于RGB顏色向量，將RGB圖像看作二維網(wǎng)格上的三維向量場，通過求解向量值函數(shù)實(shí)現(xiàn)特征提取 ；三是多維梯度方法，屬于信息級的融合策略，可實(shí)現(xiàn)最終RGB特征信息增強(qiáng)[9-10]。

2.1 RGB 特征點(diǎn)查找算法

本文將采用第二類方法，基于信息熵計(jì)算RGB每個(gè)分量的最優(yōu)融合權(quán)值，實(shí)現(xiàn)像素級的融合。算法步驟如下 ：

（1）計(jì)算RGB圖像三個(gè)通道IR、IG、IB的信息熵 ：

其中，pR(Rk)、pG(Gk)、pB(Bk) 分別是IR、IG、IB三個(gè)通道的直方圖統(tǒng)計(jì)量。

（2）根據(jù)圖像信息量確定三個(gè)通道的權(quán)重。為了最大限度地保留圖像信息，按照信息量的大小分配權(quán)重 ：

（3）基于信息量將RGB圖像線性變換為灰度圖像 ：

式中，R、G、B分別是RGB圖像任意像素的分量。

由此證明基于信息熵的線性變換的信息量得到最大保留， 該命題可等效為 ：任意假設(shè)線性變換Grey=λRR+λGG+λBB，對應(yīng)的信息量HGrey≤HGreyI。

證明 ：假設(shè) Greyk 為變換后灰度圖像的離散灰度隨機(jī)變量，Rk、Gk、Bk分別為原始RGB圖像三通道IR、IG、IB的離散隨機(jī)變量。根據(jù)信息論可知，當(dāng)信源的方差越大，則信息熵越大。

假設(shè)IR、IG、IB的方差分別為D(Rk)、D(Gk)、D(Bk)，且D(Rk)>D(Gk)>D(Bk)， 則可推出HR>HG>HB， 從而推出λRI>λGI>λBI。

根據(jù)方差性質(zhì) ：D(Greyk)=λR2D(Rk)+λG2D(Gk)+λB2D(Bk)，則有λR+λG+λB=1,推出：λR2D(Rk)+λG2D(Gk)+λB2D(Bk) ≤ λ2RID(Rk)+λ2GID(Gk)+λ2BI D(Bk)，從而有：HGrey ≤ HGreyI。

（4）運(yùn)用FAST算法確定特征點(diǎn)，此處不再贅述。

2.2 RGB 特征點(diǎn)描述子

本文采用的特征點(diǎn)描述子是在 Brief 描述子基礎(chǔ)上加以改進(jìn)的。為充分利用 RGB 三個(gè)通道的信息，描述子建立如下 ：

（1）將RGB圖像看作M×N×3的數(shù)組，IR、IG、IB 由上至下分布，以IG某二維特征點(diǎn) (x,y)為中心，取S×S×3的立體鄰域。

（2）在鄰域內(nèi)隨機(jī)選取一對點(diǎn)。隨機(jī)規(guī)則設(shè)計(jì)如下 ：在圖層選擇上采取均勻隨機(jī)采樣 ；圖層上像素采用高斯兩步隨機(jī)采樣，即首先對xi 按照高斯分布采樣，然后對yi 按照高斯分布采樣。

（3）比較二者像素的大小，并按照如下公式進(jìn)行二進(jìn)制賦值。

其中，p(xi, yi)和p(xi', yi')是隨機(jī)點(diǎn)(xi, yi)和(xi', yi')處的像素值。

（4）重復(fù)步驟 1 ～3，生成一個(gè)二進(jìn)制編碼，此編碼即為特征點(diǎn)描述子。

3 實(shí)驗(yàn)及分析

為驗(yàn)證本文提出的特征點(diǎn)提取算法，擬與原始ORB特征點(diǎn)檢測算法進(jìn)行比較。分別采集兩組圖片 ：第一組是在相同場景下通過平移、旋轉(zhuǎn)、尺度等變換得到的 ；第二組為完全不同的場景圖片。分別對兩組圖片進(jìn)行特征點(diǎn)提取，并進(jìn)行特征點(diǎn)匹配，采用改進(jìn)的 ORB特征點(diǎn)提取算法（為使ORB 算法具有尺度、旋轉(zhuǎn)不變性，在此將原算法中的Brie描述子更換為 Surf 描述子）的結(jié)果如圖2、圖3所示。

由圖中可看出，相同場景下大部分點(diǎn)的匹配是正確的，由于未采用RANSC算法，有少數(shù)點(diǎn)發(fā)生了匹配錯(cuò)誤。如果采用RANSC算法，誤匹配點(diǎn)對可以避免，但匹配時(shí)間會大大增加，平均為218.902 ms。對完全不同的場景進(jìn)行特征提取，即使使用了RANSC算法仍然存在明顯的3處誤匹配，這種錯(cuò)誤對于人類視覺而言是荒唐的。特征描述子采用的是局部鄰域編碼，從原理上只是經(jīng)過編碼的特征點(diǎn)的匹配，不代表客觀物體間關(guān)系的匹配。產(chǎn)生這一現(xiàn)象一方面是由于特征定義的問題，另一方面是由于算法普遍是基于灰度圖像，未能充分利用原始RGB圖像信息的問題。

對以上兩組圖片采用本文提出的基于RGB特征點(diǎn)提取算法進(jìn)行處理，同時(shí)采用基于距離的匹配算法進(jìn)行匹配，其結(jié)果如圖4、圖5所示。

相較于原算法，相同場景下基于RGB特征點(diǎn)的提取算法降低了錯(cuò)誤匹配，其與原算法組合使用RANSC算法的性能相近，但處理時(shí)間縮短了62.014 ms。也說明了在算法充分利用RGB信息后，對于匹配結(jié)果的提升是有效的。但在不同場景下基于RGB特征提取仍然存在著極少的明顯誤匹配，這是因?yàn)樗惴ū旧砣允腔趫D像局部范圍，當(dāng)不同場景存在著較大的相似度時(shí)，這種錯(cuò)誤發(fā)生的概率就會增加，通過擴(kuò)大描述子隨機(jī)范圍可以降低錯(cuò)誤率，但不可能完全避免。

4 結(jié) 語

本文面向SLAM魯棒應(yīng)用提出了基于RGB特征點(diǎn)提取算法，通過與目前普遍使用的ORB特征提取算法進(jìn)行比較，發(fā)現(xiàn)誤匹配率有明顯降低，性能與使用RANSC算法相當(dāng)，但處理時(shí)間得到了明顯降低，從而也驗(yàn)證了本文提出的RGB圖像信息熵度量方法的正確性，從信息論的角度解釋了算法的有效性。今后，將圍繞不同場景下誤匹配發(fā)生的機(jī)理展開理論研究，進(jìn)一步提升特征提取的魯棒性。

審核編輯 ：李倩