基于計算機視覺領(lǐng)域中的特征檢測和匹配研究

我們都知道特征檢測和匹配是計算機視覺領(lǐng)域中的重要任務(wù)，它們在許多應(yīng)用中發(fā)揮著關(guān)鍵作用，比如SLAM、SFM、AR、VR等許多算法都需要穩(wěn)定精確的特征檢測和匹配。

特征檢測算法的意義在于從圖像或視頻中提取出具有獨特性質(zhì)的特征點，這些特征點可以代表圖像中的關(guān)鍵信息。這些特征點通常具有旋轉(zhuǎn)、尺度和光照變化的不變性，使得它們在圖像的不同位置和角度下都能夠被準確地檢測到。

特征匹配算法的意義在于將兩個或多個圖像中的特征點進行對應(yīng)，以實現(xiàn)圖像間的關(guān)聯(lián)和匹配。通過將特征點進行匹配，可以進行目標跟蹤、圖像配準、三維重建等任務(wù)。

目前個人認為特征檢測和匹配的研究點包括但不限于以下幾個方面：

1.特征點檢測算法的設(shè)計和改進，提高特征點的魯棒性和準確性。

2.特征描述子的設(shè)計和優(yōu)化，提高特征點的區(qū)分度和匹配性能。

3.多尺度和多模態(tài)特征檢測與匹配，適應(yīng)不同尺度、視角和傳感器條件下的圖像數(shù)據(jù)。

4.大規(guī)模特征點檢測和匹配算法，用于處理大規(guī)模圖像數(shù)據(jù)庫或視頻流。

5.深度學習在特征檢測和匹配中的應(yīng)用，如使用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征和進行匹配。

特征檢測和匹配的應(yīng)用廣泛，包括但不限于以下幾個方面：

1.目標識別和跟蹤：通過檢測和匹配圖像中的特征點，可以實現(xiàn)目標在視頻中的跟蹤和定位，如自動駕駛中的目標識別和跟蹤。

2.圖像配準和拼接：通過匹配圖像中的特征點，可以將多幅圖像進行配準和拼接，生成全景圖像或三維重建模型。

3.增強現(xiàn)實（AR）和虛擬現(xiàn)實（VR）：特征檢測和匹配可用于將虛擬對象與真實世界進行對齊和融合，實現(xiàn)更逼真的AR和VR體驗。

4.圖像檢索和分類：通過匹配圖像中的特征點，可以對圖像進行相似性搜索和分類，用于圖像檢索和內(nèi)容識別。

5.三維重建和建模：通過匹配多個視角的圖像中的特征點，可以進行三維重建和場景建模，用于計算機輔助設(shè)計、虛擬現(xiàn)實等領(lǐng)域。

6.視頻處理和分析：特征檢測和匹配在視頻處理中可以用于運動估計、目標跟蹤、動作識別等任務(wù)。

所以，本篇文章針對不同的實際應(yīng)用需求，對三種特征檢測和匹配算法進行總結(jié)并進行代碼實踐：

1.最傳統(tǒng)的且應(yīng)用最為廣泛的SIFT特征檢測匹配算法。

2.速度和精度之間的平衡，注重實時性的SLAM中常用的ORB特征檢測和匹配算法。

3.最新且效果很好的基于深度學習的特征檢測和匹配算法SuperPoint+SuperGlue。

1.SIFT特征檢測和匹配算法

關(guān)于SIFT的算法原理及解釋網(wǎng)上有很多資料，如果想深入理解還可以找來原論文讀一讀，所以這里就簡單介紹下SIFT特征檢測和匹配算法。

SIFT是找到圖像中的一些“穩(wěn)定點”，這些點是一些十分突出的點，比如角點、邊緣點、暗區(qū)域的亮點以及亮區(qū)域的點，其算法假設(shè)兩幅圖像中有相同的景物，那么使用某種方法分別提取各自的穩(wěn)定點，這些點之間會有相互對應(yīng)的匹配點。

SIFT算法找穩(wěn)定點的方法是找灰度圖的局部最值，由于數(shù)字圖像是離散的，想求導和求最值這些操作都是使用濾波器，而濾波器是有尺寸大小的，使用同一尺寸的濾波器對兩幅包含有不同尺寸的同一物體的圖像求局部最值將有可能出現(xiàn)一方求得最值而另一方卻沒有的情況，SIFT的精妙之處在于采用圖像金字塔的方法解決這一問題，我們可以把兩幅圖像想象成是連續(xù)的，分別以它們作為底面作四棱錐，就像金字塔，那么每一個截面與原圖像相似，那么兩個金字塔中必然會有包含大小一致的物體的無窮個截面，但應(yīng)用只能是離散的，所以我們只能構(gòu)造有限層，層數(shù)越多當然越好，但處理時間會相應(yīng)增加，層數(shù)太少不行，因為向下采樣的截面中可能找不到尺寸大小一致的兩個物體的圖像。有了圖像金字塔就可以對每一層求出局部最值，但是這樣的穩(wěn)定點數(shù)目將會很多，所以需要使用某種方法抑制去除一部分點，但又使得同一尺度下的穩(wěn)定點得以保存。

這里用C++和Python各自實現(xiàn)一遍：

C++版本：

這里需要自己安裝配置opencv3哈，很簡單。安裝鏈接：https://blog.csdn.net/qq_43193873/article/details/126144636

在ubuntu20.04LTS下編譯執(zhí)行，首先是CMakeLists.txt的編寫

cmake_minimum_required(VERSION2.8)

set(CMAKE_BUILD_TYPEDebug)
set(DCMAKE_BUILD_TYPEDebug)

project(KeyPointsExtractionAndMatche)

find_package(OpenCV3REQUIRED)
include_directories(${OpenCV_INCLUDE_DIRS})

##CUDA(可選擇，SIFT可以進行GPU加速)
#FIND_PACKAGE(CUDA)
#IF(CUDA_FOUND)
#set(EXTRA_INC_DIRS
#${CUDA_INCLUDE_DIRS}
#${CUDA_SDK_INCLUDE_DIR}
#)
#cuda_include_directories(${EXTRA_INC_DIRS}${CMAKE_CURRENT_BINARY_DIR})
#set(EXTRA_LIBRARIES
#${CUDA_LIBS}
#${CUDA_cublas_LIBRARY}
#)
#ENDIF(CUDA_FOUND)

add_executable(KeyPointsExtractionAndMatchemain.cpp)

target_link_libraries(KeyPointsExtractionAndMatche${OpenCV_LIBS})

代碼：

#include
#include
#include

#include
#include
#include


usingnamespacestd;

intmain()
{
//圖像名，自己實踐時替換成自己的路徑
stringimage_name1="/home/ccy/code_test/img1.jpg";
stringimage_name2="/home/ccy/code_test/img2.jpg";

//先讀一個彩色圖像用于后續(xù)繪制特征點匹配對
cv::Matcolor_img1=cv::imread(image_name1,1);
cv::Matcolor_img2=cv::imread(image_name2,1);

//將圖像轉(zhuǎn)換為灰度圖像，用于SIFT特征提取和匹配
cv::Matgray_img1=cv::imread(image_name1,0);
cv::Matgray_img2=cv::imread(image_name2,0);

//計算SIFT特征檢測和匹配的時間
doublestart=static_cast(cv::getTickCount());
//提取兩幅圖像的SIFT特征點并篩選出匹配的特征點
vectorkeypoints1,keypoints2;
cv::Matdescriptors1,descriptors2;
cv::Ptrdetector=cv::create();
cv::Ptrdescriptor=cv::create();
cv::Ptrmatcher=cv::create("BruteForce");

//----------------------------------------------------------------------------------------------------//
//opencv3里提供了兩種匹配算法，分別是BruteForce和FlannBased，BruteForce是暴力匹配，F(xiàn)lannBased是基于近似最近鄰的匹配。
//BruteForce：通過計算兩個特征描述子之間的歐氏距離或其他相似性度量來確定匹配程度。
//BruteForce_L1:這種匹配類型使用L1范數(shù)（曼哈頓距離）作為特征描述子之間的距離度量方式。L1范數(shù)是將兩個向量各個對應(yīng)元素的差的絕對值求和作為距離的度量方式。
//BruteForce_Hamming:這種匹配類型使用漢明距離作為特征描述子之間的距離度量方式。漢明距離是將兩個向量各個對應(yīng)元素的差的絕對值求和作為距離的度量方式。
//BruteForce_HammingLUT:這種匹配類型使用漢明距離作為特征描述子之間的距離度量方式。漢明距離是將兩個向量各個對應(yīng)元素的差的絕對值求和作為距離的度量方式。這種匹配類型使用了查找表（LUT）來加速漢明距離的計算。
//BruteForce_SL2:這種匹配類型使用平方歐氏距離作為特征描述子之間的距離度量方式。平方歐氏距離是將兩個向量各個對應(yīng)元素的差的平方求和作為距離的度量方式。
//FlannBased：基于近似最近鄰的匹配，使用快速最近鄰搜索包（FLANN）來計算。
//----------------------------------------------------------------------------------------------------//

detector->detect(gray_img1,keypoints1);
detector->detect(gray_img2,keypoints2);

descriptor->compute(gray_img1,keypoints1,descriptors1);
descriptor->compute(gray_img2,keypoints2,descriptors2);

//匹配
vectormatches;
matcher->match(descriptors1,descriptors2,matches);
//篩選匹配點
doublemin_dist=10000,max_dist=0;
//找出所有匹配之間的最小距離和最大距離,即是最相似的和最不相似的兩組點之間的距離
for(inti=0;imax_dist)max_dist=dist;
}
cout<<"--?Max?dist?:?"<filteredMatches;
for(inti=0;i

	

	結(jié)果：

	

	Python實現(xiàn)：

	
importcv2

#讀取彩色圖像
image1_color=cv2.imread('/home/ccy/code_test/img1.jpg',1)
image2_color=cv2.imread('/home/ccy/code_test/img2.jpg',1)

#讀取灰度圖像
image1=cv2.imread('/home/ccy/code_test/img1.jpg',0)
image2=cv2.imread('/home/ccy/code_test/img2.jpg',0)

#計算SIFT特征檢測和匹配的時間
start=cv2.getTickCount()
#創(chuàng)建SIFT對象
sift=cv2.SIFT_create()

#檢測關(guān)鍵點和計算描述子
keypoints1,descriptors1=sift.detectAndCompute(image1,None)
keypoints2,descriptors2=sift.detectAndCompute(image2,None)

#創(chuàng)建FLANN匹配器
flann=cv2.FlannBasedMatcher()

#進行特征匹配
matches=flann.knnMatch(descriptors1,descriptors2,k=2)

#篩選匹配結(jié)果
good_matches=[]
form,ninmatches:
ifm.distance

	

	結(jié)果：

	

	可以看出FLANN匹配效果還是要比Brute-Force暴力匹配要好很多，速度也更快。

	ORB特征檢測和匹配算法：

	ORB（Oriented FAST and Rotated BRIEF）結(jié)合了FAST角點檢測和BRIEF特征描述子，具有快速、魯棒和旋轉(zhuǎn)不變性的特點。

	其中FAST（Features from Accelerated Segment Test）角點檢測算法通過比較像素點與其周圍鄰域像素點的灰度值來判斷該點是否為角點。通過FAST角點檢測，ORB能夠快速而準確地檢測出具有穩(wěn)定性和重復性的關(guān)鍵點。BRIEF（Binary Robust Independent Elementary Features）特征描述子來表示關(guān)鍵點的局部特征。BRIEF特征描述子將關(guān)鍵點周圍的像素對進行二進制比較，并生成一個定長的二進制描述子，用于描述關(guān)鍵點的局部特征。這種二進制描述子具有較小的存儲空間和快速的匹配速度。

	ORB算法具有旋轉(zhuǎn)不變性，這意味著它能夠檢測和匹配旋轉(zhuǎn)變化后的關(guān)鍵點。為了實現(xiàn)旋轉(zhuǎn)不變性，ORB在角點檢測過程中計算關(guān)鍵點的方向，并在生成描述子時根據(jù)關(guān)鍵點的方向進行旋轉(zhuǎn)。這樣，即使圖像發(fā)生旋轉(zhuǎn)，ORB算法仍然能夠正確地匹配關(guān)鍵點。

	ORB算法可以使用暴力匹配（Brute-Force）或近似最近鄰匹配（FLANN）進行特征匹配。暴力匹配方法通過計算特征描述子之間的歐氏距離或漢明距離來確定匹配程度。近似最近鄰匹配方法使用FLANN（快速最近鄰搜索庫）算法進行近似的最近鄰搜索，以加速匹配過程。

	C++實踐代碼：

	
#include
#include
#include

#include
#include
#include


usingnamespacestd;
intmain()
{
//讀取彩色圖像
cv::Matimage1_color=cv::imread("/home/ccy/code_test/img1.jpg",cv::IMREAD_COLOR);
cv::Matimage2_color=cv::imread("/home/ccy/code_test/img2.jpg",cv::IMREAD_COLOR);

//讀取灰度圖像
cv::Matimage1_gray=cv::imread("/home/ccy/code_test/img1.jpg",cv::IMREAD_GRAYSCALE);
cv::Matimage2_gray=cv::imread("/home/ccy/code_test/img2.jpg",cv::IMREAD_GRAYSCALE);

//計時
doublestart=static_cast(cv::getTickCount());

//創(chuàng)建ORB對象
cv::Ptrorb=cv::create();

//檢測關(guān)鍵點和計算描述子
std::vectorkeypoints1,keypoints2;
cv::Matdescriptors1,descriptors2;
orb->detectAndCompute(image1_gray,cv::noArray(),keypoints1,descriptors1);
orb->detectAndCompute(image2_gray,cv::noArray(),keypoints2,descriptors2);

//創(chuàng)建FLANN匹配器
//注意：BruteForce_HAMMING匹配類型適用于二進制特征描述子，如ORB（Oriented FAST and Rotated BRIEF）和Brief。
//這種匹配類型使用漢明距離（Hamming distance）作為特征描述子之間的距離度量方式。漢明距離是計算兩個二進制向量之間不同位的數(shù)量。
cv::Ptrmatcher=cv::BRUTEFORCE_HAMMING);

//進行特征匹配
std::vectormatches;
matcher->match(descriptors1,descriptors2,matches);

//篩選匹配結(jié)果
std::vectorgoodMatches;
doubleminDist=100.0;
doublemaxDist=0.0;
for(inti=0;imaxDist)
maxDist=dist;
}
doublethresholdDist=0.6*maxDist;
for(inti=0;i

	

	結(jié)果：

	

	python代碼實現(xiàn)：

	
importcv2

#讀取彩色圖像
image1_color=cv2.imread('/home/ccy/code_test/img1.jpg',1)
image2_color=cv2.imread('/home/ccy/code_test/img2.jpg',1)

#讀取灰度圖像
image1_gray=cv2.imread('/home/ccy/code_test/img1.jpg',cv2.IMREAD_GRAYSCALE)
image2_gray=cv2.imread('/home/ccy/code_test/img2.jpg',cv2.IMREAD_GRAYSCALE)

#計時
start=cv2.getTickCount()

#創(chuàng)建ORB對象
orb=cv2.ORB_create()

#檢測關(guān)鍵點和計算描述子
keypoints1,descriptors1=orb.detectAndCompute(image1_gray,None)
keypoints2,descriptors2=orb.detectAndCompute(image2_gray,None)

#創(chuàng)建BFMatcher匹配器
bf=cv2.BFMatcher(cv2.NORM_HAMMING,crossCheck=True)

#進行特征匹配
matches=bf.match(descriptors1,descriptors2)

#篩選匹配結(jié)果
matches=sorted(matches,key=lambdax:x.distance)#按距離升序排序
good_matches=matches[:50]#選擇前50個較好的匹配

end=cv2.getTickCount()
print('ORB匹配時間:',(end-start)/cv2.getTickFrequency(),'s')

#繪制匹配結(jié)果
result=cv2.drawMatches(image1_color,keypoints1,image2_color,keypoints2,good_matches,None,flags=2)

#保存結(jié)果
cv2.imwrite('ORB_Matches.jpg',result)


	

	結(jié)果：

	

	從匹配質(zhì)量上看還是SIFT更好，這是沒有疑問的，但是速度比SIFT快一個數(shù)量級要。

	Super Point + Super Glue特征檢測和匹配算法：

	Super Point論文：

	D Detone, Malisiewicz T , Rabinovich A . SuperPoint: Self-Supervised Interest Point Detection and Description[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, 2018.

	項目地址：https://github.com/magicleap/SuperPointPretrainedNetwork

	Super Glue論文：

	P. -E. Sarlin, D. DeTone, T. Malisiewicz and A. Rabinovich, "SuperGlue: Learning Feature Matching With Graph Neural Networks," 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2020, pp. 4937-4946, doi: 10.1109/CVPR42600.2020.00499.

	項目地址：https://github.com/magicleap/SuperGluePretrainedNetwork

	簡單介紹下這兩個算法，具體的網(wǎng)上有解釋，還可以看原論文。

	首先SuperPoint，采用了自監(jiān)督的方法提取特征點，設(shè)計了一個由特征點檢測器生成的具有偽真值的數(shù)據(jù)集，而非大量的人工標記。為了得到偽真值，首先在大量的虛擬數(shù)據(jù)集上訓練了一個全卷積網(wǎng)絡(luò)，這些虛擬數(shù)據(jù)集由一些基本圖形組成，例如線段、三角形、矩形和立方體等，這些基本圖形具有無爭議的特征點位置；這樣pre-trained得到的檢測網(wǎng)絡(luò)稱之為MagicPoint，它在虛擬場景中檢測特征點的性能明顯優(yōu)于傳統(tǒng)方式，但是在真實的復雜場景中表現(xiàn)不佳，因此提出了一種多尺度多變換的方法Homographic Adaptation，通過對圖像進行多次不同的尺度或角度變換來幫助網(wǎng)絡(luò)能夠在不同視角、不同尺度觀測到特征點。

	

	然后是SuperGlue，他是一種能夠同時進行特征匹配以及濾除外點的網(wǎng)絡(luò)，其中特征匹配是通過求解可微分最優(yōu)化轉(zhuǎn)移問題（ optimal transport problem）來解決，損失函數(shù)由GNN來構(gòu)建；基于注意力機制提出了一種靈活的內(nèi)容聚合機制，這使得SuperGlue能夠同時感知潛在的3D場景以及進行特征匹配。

	

	代碼實踐：這里介紹一個常用的特征檢測、匹配、重建、定位工具包，hloc，里面集成里很多常用的特征檢測和匹配、重建、定位算法，我們直接拿他的庫來進行super point和super glue特征檢測和匹配。

	項目地址：https://github.com/cvg/Hierarchical-Localization

	首先配置hloc，其需要Python >=3.7 PyTorch >=1.1

	
gitclone--recursivehttps://github.com/cvg/Hierarchical-Localization/
cdHierarchical-Localization/
python-mpipinstall-e.


	

	代碼：

	
fromhlocimportextract_features,match_features
fromtqdmimporttqdm
frompathlibimportPath
importargparse
fromhloc.utils.parsersimportparse_retrieval
fromhloc.utils.ioimportget_keypoints,get_matches

importcv2
importnumpyasnp

importtime

if__name__=='__main__':

#添加參數(shù)，在運行時輸入自己的--base_dir，比如我的運行代碼是'pythonSPSGtest.py--base_dir/home/ccy/code_test'
parser=argparse.ArgumentParser()
parser.add_argument('--base_dir',type=Path,required=True)
args=parser.parse_args()

#圖像所在路徑
images=args.base_dir/'images/'
#輸出路徑
outputs=args.base_dir/'output/'
#要匹配的圖像對所在路徑，里面每行的內(nèi)容為：img1name img2name
loc_pairs=args.base_dir/'loc_pairs.txt'
#計時
start=time.time()
#提取特征和匹配特征的配置文件
feature_conf=extract_features.confs['superpoint_max']
matcher_conf=match_features.confs['superglue']


#提取特征和匹配特征，利用預訓練模型
features=extract_features.main(feature_conf,images,outputs)
loc_matches=match_features.main(matcher_conf,loc_pairs,feature_conf['output'],outputs)
retrieval_dict=parse_retrieval(loc_pairs)

end=time.time()
print('time:',end-start)

#遍歷每一對圖像，畫出匹配點對和匹配線
forimg1intqdm(retrieval_dict):
img2=retrieval_dict[img1]
forimg2nameinimg2:
matches,_=get_matches(loc_matches,img1,img2name)
kpts0=get_keypoints(features,img1)
kpts1=get_keypoints(features,img2name)
#找出匹配點對的坐標
kpts0=kpts0[matches[:,0]]
kpts1=kpts1[matches[:,1]]
#畫出匹配點對
img1=cv2.imread(str(images/img1))
img2=cv2.imread(str(images/img2name))
foriinrange(len(kpts0)):
cv2.circle(img1,(int(kpts0[i][0]),int(kpts0[i][1])),2,(0,0,255),-1)
cv2.circle(img2,(int(kpts1[i][0]),int(kpts1[i][1])),2,(0,0,255),-1)

img3=np.zeros((max(img1.shape[0],img2.shape[0]),img1.shape[1]+img2.shape[1],3),np.uint8)
img3[:img1.shape[0],:img1.shape[1]]=img1
img3[:img2.shape[0],img1.shape[1]:]=img2
#畫出所有匹配線
foriinrange(len(kpts0)):
cv2.line(img3,(int(kpts0[i][0]),int(kpts0[i][1])),(int(kpts1[i][0])+img1.shape[1],int(kpts1[i][1])),(0,255,0),1)

cv2.imwrite('/home/ccy/code_test/result.jpg',img3)



	

	結(jié)果：

	

	可以看到SP+SG的結(jié)果又快又準！

	    責任編輯：彭菁