亚洲av无码乱码在线观看富二代,中文字幕有码无码人妻aV,一本一本大道香蕉久在线精品

前言

在近一年的AVM算法開發(fā)工作中，魚眼相機去畸變的玩法前前后后基本過了個遍。從最開始的調(diào)用Opencv API，到后來由于算法需要自己實現(xiàn)、正向的undis2fish、反向的fish2undis、魚眼上檢測、undis上標定，總之遇到很多坑，還好都解決了。正好最近有同學在AVM的帖子下面問這個東西的實現(xiàn)，今天在這里討論一下。本帖從魚眼相機模型開始講起，包含Opencv API調(diào)參、基于畸變表的參數(shù)擬合、魚眼相機去畸變算法原理和C++實現(xiàn)。

1. 魚眼相機基礎

1.1 魚眼相機模型

魚眼相機模型經(jīng)過P點的入射光線沒有透鏡的話，本應交于相機成像平面的e點。然而，經(jīng)過魚眼相機的折射，光線會交于相機成像平面的d點，就產(chǎn)生了畸變，因此畸變圖像整體上呈現(xiàn)出像素朝圖像中心點聚集的態(tài)勢。而去畸變，就是將折射到d點的點，重新映射回到e點，因此去畸變之后的圖像與原始的魚眼圖像相比，仿佛是把向心聚集的像素又重新向四周鋪展開來。下表中的兩幅圖分別為魚眼圖和去畸變之后的展開圖：

魚眼相機的投影方式有很多種假設，例如等距投影、等立體角投影、正交投影、體視投影、線性投影。但是真實的魚眼相機鏡頭并不完全遵循上述的這些模型假設。因此Kannala-Brandt提出了一種一般形式的估計，適用于不同類型的魚眼相機：

，這個也是納入opencv中的魚眼相機畸變模型?，F(xiàn)在基本上默認魚眼相機模型遵循上述公式。公式中的為光線入射角，r()為上圖中 od 的長度。

1.2 基于畸變表的擬合方法

每個相機都有它固定的相機參數(shù)，包含內(nèi)參、畸變系數(shù)。可以使用特定的相機標定方法，得到這些相機參數(shù)。通常，我們可以使用相機在不同位置、不同角度對著標定板拍攝幾十張照片，然后用某種優(yōu)化方法，計算出相機參數(shù)的最優(yōu)解，例如張正友棋盤格標定法。然而，基于標定板的方法標定出的結(jié)果取決于光照是否充足、圖像序列是否充足、全部的標定板序列是否能夠充滿整個圖像幅面等因素。也就是說汽車標定的過程中需要人工擺放標定板的位置，指望算法工程師將產(chǎn)線上的工人培訓得和他們一樣專業(yè)顯然不現(xiàn)實。大部分標定車間都是車開到標定場中間，十幾秒標定出AVM系統(tǒng)所需要的參數(shù)，主要是4個魚眼相機的外參，而非相機本身的參數(shù)（內(nèi)參、畸變系數(shù)）。大概幾十秒搞定一輛車，不可能有人工標定相機內(nèi)參的過程。好在相機在出廠時廠家一般都會提供相機的必要參數(shù)

內(nèi)參

{"focal_length": 950,"dx": 3,"dy": 3,"cx": 640,"cy": 480},通過這些參數(shù)可以計算出內(nèi)參矩陣："intrinsic" : [316.66,0.0,640,0.0,316.66,480,0.0,0.0,1.0]內(nèi)參計算公式：

中間矩陣為內(nèi)參計算公式

畸變表：

畸變表通過畸變表可以得到畸變前后像素坐標的映射關系：其中angle表示光線的入射角，Real_Image_Height表示入射光線經(jīng)過魚眼相機透鏡折射（出射角為）與成像平面的交點（畸變點）。opencv Kannala-Brandt模型與畸變表之間的差異為：

opencv Kannala-Brandt相機畸變模型描述的是光線的入射角與其經(jīng)過折射后在相機歸一化平面上的投影點距離歸一化平面中心的距離r
畸變表描述的是光線的入射角與其經(jīng)過折射后在相機的真實的成像平面上的投影點距離成像中心的距離r

兩者之間相差一個系數(shù)focal_length。即，如果使用畸變表擬合opencv Kannala-Brandt數(shù)學公式中的畸變參數(shù)，必須已知相機焦距focal_length，注意：這個focal_length是實際的物理概念，正兒八經(jīng)的相機焦距，而不是相機內(nèi)參矩陣中的f/dx。尋找與r的關系，是一種曲線擬合的問題?；儽碇刑峁┝藬?shù)據(jù)和 r() ，擬合的多項式為：

具體的實現(xiàn)方法可以使用python的curve_fit函數(shù)，即可擬合出合適的k0,k1,k2,k3,k4系數(shù)。上面提到opencv Kannala-Brandt與廠家給的畸變表之間相差一個系數(shù)：focal_length，因此，在做曲線擬合的時候，要把這部分考慮進去：

theta_input=data[:,0]*3.14/180 theta_fit=np.arctan(self.data[:,1]/0.95)#focal_lenth=0.95 distort_data,_=curve_fit(func1,theta_input,theta_fit) 綜上，我們通過曲線擬合的方法得到了畸變參數(shù)。

2 Opencv API 魚眼圖像去畸變方法

Opencv提供了基于Kannala-Brandt數(shù)學模型的魚眼去畸變方法： cv::initUndistortRectifyMap，該函數(shù)使用相機的內(nèi)參和畸變參數(shù)計算出映射圖mapx和mapy。

2.1 基礎魚眼圖像去畸變

其中入?yún)?strong>K為魚眼相機內(nèi)參，D為,,, 畸變參數(shù)，R我們一般設置為單位陣，P為去畸變圖像的相機內(nèi)參，size為輸出圖像的大小；map1，map2為輸出的映射圖。

@paramKCameraintrinsicmatrixf$cameramatrix{K}f$. @paramDInputvectorofdistortioncoefficientsf$distcoeffsfisheyef$. @paramRRectificationtransformationintheobjectspace:3x31-channel,orvector:3x1/1x3 1-channelor1x13-channel @paramPNewcameraintrinsicmatrix(3x3)ornewprojectionmatrix(3x4) @paramsizeUndistortedimagesize. @paramm1typeTypeofthefirstoutputmapthatcanbeCV_32FC1orCV_16SC2.SeeconvertMaps() fordetails. @parammap1Thefirstoutputmap. @parammap2Thesecondoutputmap. */ CV_EXPORTS_WvoidinitUndistortRectifyMap(InputArrayK,InputArrayD,InputArrayR,InputArrayP, constcv::Size&size,intm1type,OutputArraymap1,OutputArraymap2); 相機內(nèi)參矩陣表示如下，其中表示相機焦距 f 與相機cmos參數(shù) 的比值，這個的物理意義為每個像素的實際長度，單位可以是mm/像素。表示相機主點，即光心與圖像平面相交的坐標，單位為像素。

那么問題來了，為什么既需要魚眼相機的內(nèi)參，又需要輸出圖像的相機內(nèi)參呢，它們之間是什么關系呢？最開始的時候，很多同學肯定是把這兩個相機內(nèi)參設置成一樣的，即都設置成魚眼相機的大小，如下圖所示。代碼中去畸變之后圖像的內(nèi)參是從魚眼相機內(nèi)參深拷貝過來的。

cv::MatR=cv::eye(3,3,CV_32F); cv::Matmapx_open,mapy_open; cv::Matintrinsic_undis; fish_intrinsic.copyTo(intrinsic_undis); //intrinsic_undis.at<float>(0,2)*=2; //intrinsic_undis.at<float>(1,2)*=2; cv::initUndistortRectifyMap( fish_intrinsic,m_undis2fish_params,R,intrinsic_undis, cv::Size(intrinsic_undis.at<float>(0,2)*2, intrinsic_undis.at<float>(1,2)*2), CV_32FC1,mapx_open,mapy_open); cv::Mattest; cv::remap(disImg[3],test,mapx_open,mapy_open,cv::INTER_LINEAR);

左側(cè)為魚眼圖，右側(cè)為去畸變圖

2.2 相機主點參數(shù)調(diào)節(jié)

我們發(fā)現(xiàn)，上圖中右側(cè)去畸變之后雖然圖像幅面大小與魚眼圖相同都是1280*960，但是可視范圍變得很小。標定所需要的大方格沒有包含進來。因此，需要進一步調(diào)參，下面代碼中將去畸變之后圖像相機參數(shù)中的主點 , 擴大為原來的兩倍，且initUndistortRectifyMap函數(shù)輸出的去畸變圖像大小size是與去畸變之后圖像相機參數(shù)主點相關的，也就是圖像大小同樣跟著放大了兩倍。記住一點：initUndistortRectifyMap函數(shù)中的size參數(shù)一般都是與去畸變之后圖像的相機參數(shù)中主點大小強相關的。這一點在后面C++代碼手撕算法流程時候會提到。

cv::MatR=cv::eye(3,3,CV_32F); cv::Matmapx_open,mapy_open; cv::Matintrinsic_undis; fish_intrinsic.copyTo(intrinsic_undis); intrinsic_undis.at<float>(0,2)*=2; intrinsic_undis.at<float>(1,2)*=2; cv::initUndistortRectifyMap( fish_intrinsic,m_undis2fish_params,R,intrinsic_undis, cv::Size(intrinsic_undis.at<float>(0,2)*2, intrinsic_undis.at<float>(1,2)*2), CV_32FC1,mapx_open,mapy_open); cv::Mattest; cv::remap(disImg[3],test,mapx_open,mapy_open,cv::INTER_LINEAR);

去畸變圖像相機參數(shù)的主點擴大了兩倍，同時生成圖像大小擴到兩倍從上圖中我們依然不能獲得到右側(cè)完整的黑色大方格，因此需要進一步擴大去畸變后圖像相機主點位置以及生成圖像的分辨率：

cv::MatR=cv::eye(3,3,CV_32F); cv::Matmapx_open,mapy_open; cv::Matintrinsic_undis; fish_intrinsic.copyTo(intrinsic_undis); intrinsic_undis.at<float>(0,2)*=4; intrinsic_undis.at<float>(1,2)*=4; cv::initUndistortRectifyMap( fish_intrinsic,m_undis2fish_params,R,intrinsic_undis, cv::Size(intrinsic_undis.at<float>(0,2)*2, intrinsic_undis.at<float>(1,2)*2), CV_32FC1,mapx_open,mapy_open); cv::Mattest; cv::remap(disImg[3],test,mapx_open,mapy_open,cv::INTER_LINEAR);

現(xiàn)在我已經(jīng)把去畸變圖像相機內(nèi)參的主點擴大為fish相機內(nèi)參的4倍了，生成圖像的長寬也放大了4倍，像素數(shù)量總體放大16倍，這樣才勉強把大方格完全顯示出來。我們知道提取角點需要用到圖像處理算法，顯然對這么大的圖像做處理的效率非常低。

2.3 相機f參數(shù)調(diào)節(jié)

到目前位置，我們只討論了相機參數(shù)中主點的調(diào)參，想要解決上述問題還需要調(diào)整相機的 ,先不說理論，直接看調(diào)參結(jié)果，這里我們代碼中只調(diào)整了去畸變圖像相機參數(shù)中的,使它們縮小為原來的1/4。

cv::MatR=cv::eye(3,3,CV_32F); cv::Matmapx_open,mapy_open; cv::Matintrinsic_undis; fish_intrinsic.copyTo(intrinsic_undis); intrinsic_undis.at<float>(0,0)/=4; intrinsic_undis.at<float>(1,1)/=4; /*intrinsic_undis.at<float>(0,2)*=4; intrinsic_undis.at<float>(1,2)*=4;*/ cv::initUndistortRectifyMap( fish_intrinsic,m_undis2fish_params,R,intrinsic_undis, cv::Size(intrinsic_undis.at<float>(0,2)*2, intrinsic_undis.at<float>(1,2)*2), CV_32FC1,mapx_open,mapy_open); cv::Mattest; cv::remap(disImg[3],test,mapx_open,mapy_open,cv::INTER_LINEAR);

左側(cè)為魚眼圖，右側(cè)為去畸變圖，分辨率均為1280*960從圖中可以看出，當我們僅將相機焦距縮小時，可以看到更多的東西。雖然去畸變之后的圖像很小只有1280*960，但是卻可以看到完整的方格。本節(jié)我們討論了opencv API initUndistortRectifyMap函數(shù)的主點和f參數(shù)調(diào)節(jié)對于去畸變圖像的影響，接下來的第3節(jié)，我們將會從去畸變算法原理入手，C++實現(xiàn)一波該算法。做這件事的原因很簡單：opencv只提供了整張圖像從undis2fish的映射，在avm的視角轉(zhuǎn)換中，我們需要進行單個像素點的undis2fish，因此，我們需要自己實現(xiàn)一波這個去畸變過程。結(jié)論：縮小相機焦距可以使FOV增大，在更小分辨率的圖像上呈現(xiàn)出更多的內(nèi)容，看上去也是更加清晰。

3 魚眼去畸變算法及其實現(xiàn)

畸變映射關系魚眼去畸變的算法實現(xiàn)就是遍歷去畸變圖像上的每一個點，尋找它們在魚眼圖像上的像素點坐標，計算它們之間的映射關系C++實現(xiàn)：

/* func:warpfromdistorttoundistort @paramf_dx:f/dx @paramf_dy:f/dy @paramlarge_center_h:undisimagecentery @paramlarge_center_w:undisimagecenterx @paramfish_center_h:fishimagecentery @paramfish_center_w:fishimagecenterx @paramundis_param:factoryparam @paramx:inputcoordinatexontheundisimage @paramy:inputcoordinateyontheundisimage */ cv::Vec2fwarpUndist2Fisheye(floatfish_scale,floatf_dx,floatf_dy,floatlarge_center_h, floatlarge_center_w,floatfish_center_h, floatfish_center_w,cv::Vec4dundis_param,floatx, floaty){ f_dx*=fish_scale; f_dy*=fish_scale; floaty_=(y-large_center_h)/f_dy;//normalizedplane floatx_=(x-large_center_w)/f_dx; floatr_=static_cast<float>(sqrt(pow(x_,2)+pow(y_,2))); //Lookuptable /*intnum=atan(r_)/atan(m_d)*1024; floatangle_distorted=m_Lut[num];*/ floatangle_undistorted=atan(r_);//theta floatangle_undistorted_p2=angle_undistorted*angle_undistorted; floatangle_undistorted_p3=angle_undistorted_p2*angle_undistorted; floatangle_undistorted_p5=angle_undistorted_p2*angle_undistorted_p3; floatangle_undistorted_p7=angle_undistorted_p2*angle_undistorted_p5; floatangle_undistorted_p9=angle_undistorted_p2*angle_undistorted_p7; floatangle_distorted=static_cast<float>(angle_undistorted+ undis_param[0]*angle_undistorted_p3+ undis_param[1]*angle_undistorted_p5+ undis_param[2]*angle_undistorted_p7+ undis_param[3]*angle_undistorted_p9); //scale floatscale=angle_distorted/(r_+0.00001f);//scale=r_disonthecameraimgplane //divider_undisonthenormalizedplane cv::Vec2fwarp_xy; floatxx=(x-large_center_w)/fish_scale; floatyy=(y-large_center_h)/fish_scale; warpPointOpencv(warp_xy,fish_center_h,fish_center_w,xx,yy,scale); returnwarp_xy; } voidwarpPointOpencv(cv::Vec2f&warp_xy,floatmap_center_h,floatmap_center_w, floatx_,floaty_,floatscale){ warp_xy[0]=x_*scale+map_center_w; warp_xy[1]=y_*scale+map_center_h; } 針對上述代碼，我們由淺入深地講述算法流程

3.1 基礎的魚眼去畸變（主點相關）

魚眼相機成像模型上述代碼中令fish_scale為1，先討論最簡單的，即讓去畸變圖像相機參數(shù)中的, 大小與魚眼圖相同，對照魚眼相機模型這張圖和代碼，我們來梳理一下算法流程：算法流程

首先，對于圖像平面上的像素點，要用相機的內(nèi)參f、dx、dy，將其轉(zhuǎn)化到歸一化平面，對應上圖中的e點。并計算其距離歸一化平面中心的距離r_。并計算對應的入射角，即上圖中的 theta角
根據(jù)Kannala-Brandt的魚眼模型公式，使用事先擬合的k1，k2，k3，k4參數(shù)計算歸一化平面上去畸變之后點的位置r_distorted
在歸一化平面上計算去畸變前后點位置的比值：r_distorted/r_
3中計算的比值為歸一化平面上，同樣可以應用到相機成像平面以及圖像平面上。因此，可以對圖像平面上的像素點，乘上這個系數(shù)，就得到了魚眼圖上像素點的位置。

對于算法流程中的3，4：

總體來講這個基礎的魚眼去畸變算法的實現(xiàn)思路就是：在歸一化平面上計算去畸變前后的像素坐標scale，然后運用到圖像平面上。

主點位置示意圖如上圖所示，輸出的去畸變圖大小為Size，去畸變圖相機內(nèi)參中的主點位置為 ,在算法的實現(xiàn)中，首先會創(chuàng)建Size大小的mesh_grid，即map，確定主點的位置，然后根據(jù)mesh_grid上每個點的坐標，計算其與主點的相對位置，然后進行后續(xù)的計算（轉(zhuǎn)換到歸一化平面、計算scale等），因此根據(jù)這個邏輯如果上面的主點不在Size的中心，就會導致相機實際拍攝到內(nèi)容的中心在主點區(qū)域，但是右下角會有很多的延申。例如下圖這種：

從上圖原始的魚眼圖中可以看出相機拍攝的內(nèi)容中心大概在棋盤格附近，然而去畸變了之后棋盤格卻跑到了左上角。這就是因為我們設置的主點偏左上，沒有位于生成的去畸變圖的中心。這就是2.2節(jié)中提到的：initUndistortRectifyMap函數(shù)中的size參數(shù)一般都是與去畸變之后圖像的相機參數(shù)中主點大小強相關的。

3.2 進階的魚眼去畸變（如何調(diào)整f）

正如第2節(jié)所說，我們需要在很小的圖像上呈現(xiàn)出大方格。這就需要調(diào)整f，這個過程不太容易理解，我們畫個圖來理解一下：

相機焦距調(diào)整示意圖上圖中相機的真實焦距為f，假設cmos長度不變，我們只是把成像平面放在了 f/2 的位置上，顯然調(diào)整焦距后的相機FOV更大，能夠看到的東西越多。同理，對于標定車間中的大方格，假設我們調(diào)參使得 , 縮小一定的倍數(shù)，理論上就可以看到更多的內(nèi)容。

將相機內(nèi)參 f 縮小為 f/2 意味著我們將相機的cmos推導距離相機光心 f/2 處，在這個平面上做映射。算法流程如下：

將相機焦距調(diào)整為 f/2 后，使用新的焦距將點轉(zhuǎn)換到歸一化平面上去，得到
使用去畸變參數(shù) ,,, 計算其畸變狀態(tài)下在歸一化平面上的位置
使用前兩步的結(jié)果，計算去畸變前后線段的長度比例scale
根據(jù)已知的與前面計算的scale計算出
*2將點映射到 f 平面上，就得到了在 f/2 成像平面上的去畸變映射關系。

上述最后一步不太容易理解：實際真實的畸變圖像是在 f 平面上，也就是說我們算出了 f/2 平面上畸變圖上點映射到去畸變后的位置還不夠，還需要進一步找到真實的畸變圖上的坐標，也就是 f 平面上的位置，因為我們最后都是要去真正的畸變圖上找點的， f/2 平面只是我們虛構(gòu)的，只是假設cmos在 f/2 平面上。這個圖中我們最后一步×2，假設我們想把相機內(nèi)參設為 f/3 ，那最后一步要×3?？傊痪湓挘?strong>f平面才是我們真實拿到的fish圖，我們最終還是要在這個原始的fish圖上找點。在實驗中我們得到結(jié)論：

當我們調(diào)整 f 使其更小時，相同的內(nèi)容集中于更小的分辨率上，對于后續(xù)的圖像處理算法會更友好。很多鋸齒和模糊的問題都能得到改善
在魚眼上檢測棋盤格角點要比在去畸變圖上檢測棋盤格角點更加準確，因為去畸變后大方格被拉伸的很嚴重。這個結(jié)論的依據(jù)是重投影誤差以及將魚眼檢測到的角點坐標映射到去畸變圖上后與直接在畸變圖上的位置做視覺上的比較。

3.3 Opencv API undistortPoints的實現(xiàn)

前面所有討論的都是undis2fish的過程。在實際的AVM標定中，通常是對魚眼相機檢測角點，因為去畸變之后圖像拉伸效果嚴重，提取的角點不準確。參考張正友標定法標定相機參數(shù)時，也是在獲取到的圖像上直接提取角點，解一個全局優(yōu)化問題。因此，除了前面講到的undis2fish映射過程以外，我們還需要實現(xiàn)fish2undis的過程。這個過程Opencv提供了函數(shù)undistortPoints，即輸入為魚眼相機上點的坐標，輸出為去畸變圖像上點的坐標。這個過程是一個解

方程的問題，用到非線性優(yōu)化，速度很慢。因此我們通過畸變表，構(gòu)建了一個多項式，通過反向擬合的方法，提前擬合出fish2undis的方程系數(shù)：

#forward self.distor_para,_=curve_fit(self.func,self.data[:,0],self.data[:,1]) #inverse f_inverse_para,_=curve_fit(self.func_inverse,self.data[:,1],self.data[:,0]) 計算fish2undis的過程與undis2fish（3.1，3.2）的過程略有不同，但都是尋找 與 之間的映射關系，因為 f 平面才是我們真實拿到的fish圖，我們最終還是要在這個原始的fish圖上找點。

實現(xiàn)代碼：

cv::Vec2fCalibrateInit::warpFisheye2Undist(floatfish_scale,floatf_dx,floatf_dy,floatundis_center_h, floatundis_center_w,floatfish_center_h, floatfish_center_w,cv::Vec4dundis_param,floatx, floaty){ //f_dx*=fish_scale; //f_dy*=fish_scale; floaty_=(y-fish_center_h)/f_dy;//normalizedplane floatx_=(x-fish_center_w)/f_dx; floatr_distorted=static_cast<float>(sqrt(pow(x_,2)+pow(y_,2))); floatr_distorted_p2=r_distorted*r_distorted; floatr_distorted_p3=r_distorted_p2*r_distorted; floatr_distorted_p4=r_distorted_p2*r_distorted_p2; floatr_distorted_p5=r_distorted_p2*r_distorted_p3; floatangle_undistorted=static_cast<float>(r_distorted+ undis_param[0]*r_distorted_p2+ undis_param[1]*r_distorted_p3+ undis_param[2]*r_distorted_p4+ undis_param[3]*r_distorted_p5); //scale floatr_undistorted=tanf(angle_undistorted); floatscale=r_undistorted/(r_distorted+0.00001f);//scale=r_disonthecameraimgplane //divider_undisonthenormalizedplane cv::Vec2fwarp_xy; floatxx=(x-fish_center_w)*fish_scale; floatyy=(y-fish_center_h)*fish_scale; warpPointInverse(warp_xy,undis_center_h,undis_center_w,xx,yy,scale); returnwarp_xy; } voidCalibrateInit::Vec2f&warp_xy,floatmap_center_h,floatmap_center_w, floatx_,floaty_,floatscale){ warp_xy[0]=x_*scale+map_center_w; warp_xy[1]=y_*scale+map_center_h; }

總結(jié)

本貼討論的內(nèi)容為魚眼相機圖像基于畸變表的處理方法，AVM中畸變的運用非常靈活，所以筆者必須對它進行實現(xiàn)才可以靈活運用。據(jù)筆者所知有些AVM供應商的魚眼畸變參數(shù)并不一定是依賴畸變表，有的也會拿來一批攝像頭自行標定。具體那種方法更優(yōu)，可能需要更多同行同學的實驗和討論得到結(jié)論。

審核編輯：李倩

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴