3D視覺(jué)的核心問(wèn)題是恢復(fù)場(chǎng)景結(jié)構(gòu)、相機(jī)位姿、和相機(jī)參數(shù),而解決方式有兩種,一種是off-line的sfm(structure from motion),一種on-line的slam(simultaneous localization and mapping)。Slam 與sfm的區(qū)別在于,大多數(shù)slam系統(tǒng)是需要提前標(biāo)定相機(jī),而sfm 則不需要提前標(biāo)定(通常所說(shuō)的三維重建和slam的區(qū)別,嚴(yán)格意義上應(yīng)該是sfm 和slam的區(qū)別)。
Sfm 可以分為以下幾類(lèi):Global SfM、Incremental SfM、Hybrid SfM、Distributed SfM,這里主要講解Global SfM和ncremental SfM(主要集中在global sfm)。
一、Global SfM workflow:
Global sfm 的內(nèi)容包括rotation averaging 和anslation averaging。
Rotation averaging
觀測(cè)值:一組相機(jī)pose的相對(duì)rotation
目標(biāo):計(jì)算相機(jī)的絕對(duì)旋轉(zhuǎn)
優(yōu)化:L2范數(shù),采用L2范數(shù)的原因有兩個(gè):1)估計(jì)一個(gè)好的旋轉(zhuǎn)初始值 2)收斂快
理論基礎(chǔ):
translation averaging
觀測(cè)值:同rotation averaging 一樣,觀測(cè)值是兩一組pose之間的相對(duì)translation
目標(biāo):計(jì)算相機(jī)的絕對(duì)旋轉(zhuǎn)
優(yōu)化:L1范數(shù),原因是L1 范數(shù)對(duì)噪聲魯邦
理論基礎(chǔ):
Translation averaging 在global sfm 中計(jì)算困難,原因如下:
1、 兩視圖之間的運(yùn)動(dòng)不能恢復(fù)尺度(tvec 是從本質(zhì)矩陣中恢復(fù)出來(lái)的,但是本質(zhì)矩陣的秩是5,不包含尺度,所以global sfm 是屬于三焦張量問(wèn)題,即是至少tack 3幀才能進(jìn)行運(yùn)算。同時(shí),global sfm 容易出現(xiàn)退化現(xiàn)象,當(dāng)相機(jī)都處于同一條線上時(shí)候,對(duì)于無(wú)人機(jī)圖像來(lái)說(shuō),這個(gè)時(shí)候軌跡就會(huì)出現(xiàn)bending map。
解決bending map 的手段有三點(diǎn):
(1)提前對(duì)相機(jī)標(biāo)定
(2)以無(wú)人機(jī)為例,飛行航線不要在恒定高度上飛行
(3)融合其他傳感器,如gps 位置約束等 退化的case 如下:
? ? ?
以上分別為側(cè)面圖和俯視圖 以上結(jié)果是fusion low-cost gps的效果,但是依舊可以看出有彎曲的現(xiàn)象(不融合的效果特別差) 飛行方式改變,fusion low-cost gps,退化現(xiàn)象消失,如下:
從側(cè)面圖和俯視圖可以看出,當(dāng)飛行方式發(fā)生改變,global sfm 退化現(xiàn)象消失。
2、 global sfm translation averaging第二個(gè)的痛點(diǎn)是對(duì)噪聲敏感,其不像Incremental sfm,不斷的ransac 和local ba 來(lái)減少bad EGs的影響。 如何去改善global sfm 的魯棒性:
1)如果rotation 是已知的(不夠精確),提供global rotation初始值給global sfm pipeline ,利用這些初始值在BA中增加relative rotation constraint
2)如果位置已知,sfm 增加位置約束,即最小化先驗(yàn)位置和估計(jì)的位置之間的gap,位置約束可以替代slam回環(huán)(如果是low cost gps ,位置約束不能保證精度,但可以起到一個(gè)control strcture 的作用(AR 常用)—參考vins-fusion思想 ,這個(gè)openmvg 中已經(jīng)實(shí)現(xiàn)位置約束。
二、Incremental SfM workflow:
增量sfm這里不準(zhǔn)備太多的敘述,需要注意的是初始化選擇像對(duì)的基準(zhǔn):
enough matching
big baseline
三、global sfm和incremental sfm 優(yōu)缺點(diǎn)和應(yīng)用場(chǎng)景
應(yīng)用場(chǎng)景:
1.當(dāng)考慮速度不考慮精度的時(shí)候,并且當(dāng)圖像overlap 比較大的時(shí)候,用global sfm 可以達(dá)到理想效果,因?yàn)橛懈嗟臄?shù)據(jù)去average(Feature track based translation averaging)
2.如果考慮精度,選擇Incremental sfm ,但是在大場(chǎng)景下,incremental sfm會(huì)隨著圖像的增多,速度越來(lái)越慢,同時(shí)由于誤差的累計(jì),會(huì)出現(xiàn)drfit ,這種情況下可以采用Distributed SfM。
審核編輯:劉清
-
無(wú)人機(jī)
+關(guān)注
關(guān)注
226文章
10198瀏覽量
177478 -
SLAM
+關(guān)注
關(guān)注
23文章
405瀏覽量
31710 -
3D視覺(jué)
+關(guān)注
關(guān)注
4文章
423瀏覽量
27427
原文標(biāo)題:三維重建的定位定姿算法
文章出處:【微信號(hào):3D視覺(jué)工坊,微信公眾號(hào):3D視覺(jué)工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論