深度相機(jī)是如何標(biāo)定的？

摘要

常見(jiàn)的消費(fèi)級(jí)RGB-D相機(jī)具有粗略的內(nèi)參和外參校準(zhǔn)數(shù)據(jù)的，通常無(wú)法滿(mǎn)足許多機(jī)器人應(yīng)用所需的精度要求。我們的校準(zhǔn)方法基于一種新穎的雙分量測(cè)量誤差模型，該模型統(tǒng)一了基于不同技術(shù)RGB-D相機(jī)的誤差源，如結(jié)構(gòu)光3D相機(jī)和飛行時(shí)間相機(jī)，提出的的標(biāo)定模型使用兩種不同的參數(shù)實(shí)現(xiàn)對(duì)圖像的矯正，這兩種圖通過(guò)控制函數(shù)的線性組合提供校準(zhǔn)讀數(shù)，非線性?xún)?yōu)化算法在單個(gè)優(yōu)化步驟中細(xì)化相機(jī)深度傳感器剛性位移以及上述參數(shù)，確保結(jié)果高度可靠。這個(gè)庫(kù)的依賴(lài)項(xiàng)有Eigen，PCL，OpenCV，Ceres Solver。

主要貢獻(xiàn)

本文的主要貢獻(xiàn)如下：

一個(gè)通用的、可實(shí)現(xiàn)的測(cè)量誤差模型，該模型以統(tǒng)一的方式很好地描述了不同深度傳感器類(lèi)型的誤差。

一種空間和參數(shù)不畸變圖像，以緊湊有效的方式模擬結(jié)構(gòu)光深度傳感器的畸變模型。

一種新的優(yōu)化框架，在估計(jì)攝像機(jī)深度傳感器剛性位移以及描述深度測(cè)量系統(tǒng)誤差的參數(shù)模型。

提出方法的開(kāi)源實(shí)現(xiàn)，集成在ROS（機(jī)器人操作系統(tǒng)）框架內(nèi)。

主要內(nèi)容

該方法提出了一種基于對(duì)極幾何和光束平面約束的聯(lián)合優(yōu)化框架，用于同時(shí)估計(jì)RGB-D相機(jī)的內(nèi)參和外參。該方法在標(biāo)定過(guò)程中使用了多個(gè)視角的圖像對(duì)和對(duì)應(yīng)的深度圖，并通過(guò)最小化重投影誤差來(lái)優(yōu)化相機(jī)的內(nèi)外參。同時(shí)，為了增強(qiáng)魯棒性，該方法還引入了離群值剔除和稀疏性約束，以處理不準(zhǔn)確的匹配和噪聲。



圖1 標(biāo)定算法流程

實(shí)驗(yàn)結(jié)果表明，該方法在各種實(shí)際場(chǎng)景和數(shù)據(jù)集上都能夠獲得準(zhǔn)確而穩(wěn)健的內(nèi)參和外參標(biāo)定結(jié)果。與傳統(tǒng)方法相比，該方法在標(biāo)定精度和魯棒性方面都有顯著的提升。此外，該方法還能夠處理部分遮擋和異常情況，具有較強(qiáng)的魯棒性和適應(yīng)性。



圖2 四個(gè)傳感器的平面誤差，對(duì)于SL傳感器，所提出的方法能夠顯著減小測(cè)量點(diǎn)與最佳擬合數(shù)據(jù)的平面之間的距離。對(duì)于Kinect 2傳感器，差異受到隨距離增加而出現(xiàn)的隨機(jī)噪聲的限制。

不同距離的一面墻的點(diǎn)云矯正后的結(jié)果

校

準(zhǔn)后的RGB圖與深度圖配準(zhǔn)與使用默認(rèn)校準(zhǔn)參數(shù)生成RGB圖與深度圖配準(zhǔn)結(jié)果

對(duì)三個(gè)經(jīng)過(guò)測(cè)試的SL深度傳感器和Kinect 2 ToF相機(jī)的全局誤差進(jìn)行了實(shí)驗(yàn)，說(shuō)明了原始點(diǎn)云的誤差（Original），去畸變步驟后的誤差（Undistorted），以及在去畸變和全局誤差校正步驟后的誤差（Final）。

對(duì)于三個(gè)SL傳感器，為了進(jìn)一步評(píng)估所提出方法的有效性，在（a）中使用設(shè)備校準(zhǔn)了深度傳感器，而在（b）中我們使用了高分辨率相機(jī)。

總結(jié)

本文提出了一種通用RGB-D傳感器標(biāo)定的新方法，開(kāi)源的校準(zhǔn)程序僅要求用戶(hù)在最小結(jié)構(gòu)的環(huán)境中收集數(shù)據(jù)，并在輸出中提供傳感器的內(nèi)參和外參數(shù)據(jù)，通過(guò)兩個(gè)不同的分量，一個(gè)畸變誤差和一個(gè)全局系統(tǒng)誤差來(lái)概括深度傳感器誤差，畸變誤差使用每像素參數(shù)無(wú)畸變圖建模。在算法的第一階段進(jìn)行估計(jì)，在算法的第二階段，在魯棒優(yōu)化框架內(nèi)，估計(jì)深度系統(tǒng)誤差以及攝像機(jī)深度傳感器對(duì)準(zhǔn)，文章用幾個(gè)傳感器進(jìn)行了詳盡的實(shí)驗(yàn)，結(jié)果表明，該方法提供了高度精確的結(jié)果，優(yōu)于其他最先進(jìn)的方法。

審核編輯：劉清