深度學(xué)習(xí)驅(qū)動下的相機標(biāo)定技術(shù)研究

相機標(biāo)定在計算機視覺和機器人等領(lǐng)域中占據(jù)舉足輕重的地位，它為后續(xù)場景理解及決策推斷提供了標(biāo)準(zhǔn)化的成像空間和精準(zhǔn)的幾何先驗。然而，傳統(tǒng)的相機標(biāo)定技術(shù)常常依賴于繁瑣的人工干預(yù)和特定的場景假設(shè)，因此難以靈活拓展至不同的相機模型和標(biāo)定場景。近年來，基于深度學(xué)習(xí)的解決方案展現(xiàn)出代替手動操作、擺脫場景假設(shè)的潛力，實現(xiàn)了全自動化的相機標(biāo)定技術(shù)。在這些方案中，各種各樣的學(xué)習(xí)機制、網(wǎng)絡(luò)架構(gòu)、先驗知識、優(yōu)化函數(shù)、數(shù)據(jù)集等方面均得到了廣泛的研究。

本綜述首次系統(tǒng)性地概述了深度學(xué)習(xí)驅(qū)動下的相機標(biāo)定技術(shù)，涵蓋了深度學(xué)習(xí)時代以來（8年時間跨度）各類相機模型標(biāo)定及其應(yīng)用的最新研究進展。主要探索的標(biāo)定類別包括標(biāo)準(zhǔn)針孔相機模型、畸變相機模型、跨視角模型和跨傳感器模型等。該路線緊密契合了基于深度學(xué)習(xí)的相機標(biāo)定的研究趨勢和實際市場需求。在每個類別中，相應(yīng)技術(shù)發(fā)展的貢獻點、優(yōu)勢、局限性得到了充分論述，具體的未來研究技術(shù)點也進行了一定展望。此外，本文還整合、構(gòu)建了一個公開且全面的評測基準(zhǔn)數(shù)據(jù)集，可作為開放平臺用于不同研究方法的性能評測。該數(shù)據(jù)集包括了不同仿真環(huán)境下生成的合成數(shù)據(jù)，以及不同場景下由各類真實相機采集到的圖像和視頻序列。每一個數(shù)據(jù)樣本均提供了準(zhǔn)確的標(biāo)定結(jié)果、相機參數(shù)、或視覺線索。最后，我們討論了整個基于深度學(xué)習(xí)的相機標(biāo)定領(lǐng)域仍然存在的挑戰(zhàn)以及未來可能的研究方向。

一、相機模型及標(biāo)定目標(biāo)

相機模型描述了從三維世界坐標(biāo)中的點到其在二維圖像平面上投影的成像過程。其中，不同的相機和傳感器系統(tǒng)對應(yīng)不同類型的參數(shù)模型。在本綜述中，我們首先回顧了標(biāo)準(zhǔn)的針孔相機模型涉及的內(nèi)外相機參數(shù)以及幾何表征。隨后，我們根據(jù)基于深度學(xué)習(xí)的相機標(biāo)定技術(shù)發(fā)展和市場需求回顧了更加復(fù)雜的模型，如廣角/魚眼相機模型、卷簾門模型、跨視角模型和相機-雷達聯(lián)合模型。特別地，考慮到傳統(tǒng)相機標(biāo)定中部分標(biāo)定目標(biāo)的隱式性和異質(zhì)性，我們還歸納總結(jié)了該領(lǐng)域利于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的新標(biāo)定目標(biāo)。這些新目標(biāo)能夠加速訓(xùn)練損失收斂并有助于提高標(biāo)定性能。更多細節(jié)詳見本綜述補充材料的第二部分。

本綜述涵蓋了目前市場主流的相機模型、標(biāo)定目標(biāo)及其拓展應(yīng)用

二、基于深度學(xué)習(xí)的相機標(biāo)定范式及策略

在工業(yè)界和學(xué)術(shù)界中，有一些標(biāo)準(zhǔn)的相機標(biāo)定技術(shù)可供選擇（如OpenCV、Kalibr），因此這個過程通常在計算機視覺的最新發(fā)展中被忽視。然而，使用傳統(tǒng)方法對單個或自然圖像和序列（in the wild）進行標(biāo)定仍然極具挑戰(zhàn)，特別是當(dāng)待標(biāo)定數(shù)據(jù)來自互聯(lián)網(wǎng)或未知的相機模型。近年來，深度學(xué)習(xí)為相機標(biāo)定技術(shù)帶來了新的靈感，實現(xiàn)了無需人工干預(yù)的全自動標(biāo)定過程。本綜述首先從學(xué)習(xí)范式和學(xué)習(xí)策略這兩個方面對基于深度學(xué)習(xí)的相機標(biāo)定進行分類總結(jié)。

學(xué)習(xí)范式

受不同神經(jīng)網(wǎng)絡(luò)架構(gòu)的啟發(fā)，研究人員開發(fā)出了兩種主流的深度學(xué)習(xí)相機標(biāo)定范式。

第一種稱為回歸范式，使用具有卷積和全連接層的神經(jīng)網(wǎng)絡(luò)從輸入中回歸標(biāo)定目標(biāo)。隨后，回歸得到的相機參數(shù)用于進行后續(xù)任務(wù)，如畸變矯正、相機定位、三維重建等。這種學(xué)習(xí)范式在該領(lǐng)域內(nèi)最早得到研究，各類標(biāo)定模型的第一個深度學(xué)習(xí)工作均屬于回歸范式，如內(nèi)參標(biāo)定（Deepfocal[21]），外參標(biāo)定（PoseNet[22]），廣角相機標(biāo)定（Rong[23]），卷簾門標(biāo)定（URS-CNN[23]），相機-雷達聯(lián)合標(biāo)定（RegNet[27]）等。

第二種稱為重建范式，它拋棄了傳統(tǒng)的參數(shù)回歸思想，使用全卷積網(wǎng)絡(luò)直接從初始輸入學(xué)習(xí)像素級的映射函數(shù)，將待標(biāo)定域映射到標(biāo)定域上。這種方式專注于像素級重建并與后續(xù)任務(wù)聯(lián)合學(xué)習(xí)，可以實現(xiàn)無參數(shù)、一階段標(biāo)定。該范式下經(jīng)典的標(biāo)定算法有：針孔相機（MisCaliDet[108]），廣角相機（DR-GAN[31]），卷簾門模型（DeepUnrollNet[46]），相機-雷達模型（CFNet[153]）等。

學(xué)習(xí)策略

在基于深度學(xué)習(xí)的相機標(biāo)定發(fā)展中，多種學(xué)習(xí)策略得以探索，其中有監(jiān)督學(xué)習(xí)占絕大多數(shù)（超過90%）?？紤]到標(biāo)記工作費時費力，越來越多的研究者探索使用半監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)來降低神經(jīng)網(wǎng)絡(luò)對參數(shù)標(biāo)簽的訓(xùn)練需求。這些學(xué)習(xí)策略的研究重心也從數(shù)據(jù)量、網(wǎng)絡(luò)層數(shù)的堆疊等逐漸轉(zhuǎn)變?yōu)?strong>對數(shù)據(jù)本身先驗知識的挖掘。

在相機標(biāo)定技術(shù)中，幾何先驗具有高效利用數(shù)據(jù)的特點，因為它們消除了從數(shù)據(jù)中學(xué)習(xí)這些信息的必要性，這使得網(wǎng)絡(luò)框架易于解釋，并且更好地適用于相近的數(shù)據(jù)分布。此外，強化學(xué)習(xí)也被用于動態(tài)解決相機標(biāo)定問題。我們注意到，該領(lǐng)域仍然有很多學(xué)習(xí)策略尚未被開發(fā)研究，如主動學(xué)習(xí)、少樣本學(xué)習(xí)、零樣本學(xué)習(xí)等。這些學(xué)習(xí)策略可以進一步提高標(biāo)定算法的效率和魯棒性，從而擴展相機標(biāo)定的應(yīng)用場景，例如在醫(yī)療圖像處理、軍事偵察和自動駕駛等領(lǐng)域。

三、具體研究進展及討論

本綜述的結(jié)構(gòu)和層次分類如下圖所示，其中每個部分對應(yīng)標(biāo)定不同的相機模型或拓展模型的研究進展。在第三章中，我們介紹了標(biāo)準(zhǔn)針孔相機標(biāo)定，其中按標(biāo)定目標(biāo)分為內(nèi)參標(biāo)定、外參標(biāo)定、內(nèi)外參聯(lián)合標(biāo)定。在第四章中，我們介紹了畸變相機模型標(biāo)定，其中按畸變類型分為徑向畸變和卷簾門畸變。對于徑向畸變，我們按學(xué)習(xí)范式進行分類概述；對于卷簾門畸變，我們按數(shù)據(jù)類型進行逐一分析。在第五章中，我們介紹了跨視角模型應(yīng)用，其中按算法流程分為直接方案、級聯(lián)方案和迭代方案。在第六章中，我們介紹了跨傳感器模型標(biāo)定，特別是相機-雷達聯(lián)合標(biāo)定，其中按標(biāo)定目標(biāo)分為像素級、語義級和物體/關(guān)鍵點級標(biāo)定。在每一章節(jié)中，我們還歸納了對應(yīng)標(biāo)定模型下的深度學(xué)習(xí)研究趨勢，并展望了未來研究的技術(shù)路徑。

有趣的是，我們發(fā)現(xiàn)雖然不同模型標(biāo)定算法之間的發(fā)展鮮有關(guān)聯(lián)，但是它們的研究趨勢均呈現(xiàn)出從回歸范式到重建范式的拓展。新的標(biāo)定目標(biāo)的發(fā)展也不謀而合。此外，部分方案根據(jù)傳統(tǒng)標(biāo)定的流程重新設(shè)定了每個學(xué)習(xí)模塊的結(jié)構(gòu)和功能，在靈活整合幾何求解算法的同時大大提高了網(wǎng)絡(luò)的可解釋性。更多分析和討論詳見綜述的第三章至第六章。

本綜述的結(jié)構(gòu)和層次分類，其中每個類別下列出了一些經(jīng)典的方法

四、評測基準(zhǔn)

由于在基于深度學(xué)習(xí)的相機標(biāo)定領(lǐng)域中還沒有公開且統(tǒng)一的評測基準(zhǔn)，因此我們整合、構(gòu)建了一個數(shù)據(jù)集，以用于評估不同方法的泛化性能。在這個數(shù)據(jù)集中，圖像和視頻是由不同的相機在各種場景下拍攝的，包括模擬環(huán)境和真實世界的場景。此外，我們基于不同的條件提供了標(biāo)定的真實結(jié)果、參數(shù)標(biāo)簽和視覺線索等，如下圖所示。特別地，對于畸變相機模型，我們使用大約40種廣角相機采集室內(nèi)的原始數(shù)據(jù)。其中每個數(shù)據(jù)均配有標(biāo)定獲得的內(nèi)參、外參和畸變系數(shù)。為了豐富場景多樣性，我們還用一輛配備了不同標(biāo)定相機的車載系統(tǒng)來采集街景環(huán)境下的視頻序列，涵蓋了白天、黑夜以及不同的天氣。

五、未來研究展望

相機標(biāo)定是計算機視覺和機器人領(lǐng)域中一個基礎(chǔ)但具有挑戰(zhàn)性的研究課題。從以上的技術(shù)回顧和趨勢洞察，我們發(fā)現(xiàn)目前的深度學(xué)習(xí)方案仍有很大的提升空間。從第三章到第六章，本綜述討論了各類相機模型未來研究的技術(shù)路徑。在本節(jié)中，我們將提出整個研究社區(qū)可能關(guān)心的一些更為宏觀的未來研究方向。

· 序列標(biāo)定的拓展

現(xiàn)有的深度學(xué)習(xí)研究側(cè)重于單個圖像的標(biāo)定，而忽略了采集序列中的時空相關(guān)性。將現(xiàn)有方法應(yīng)用于第一幀并傳播到后續(xù)幀是一種直接的解決方法，但是無法確保完美標(biāo)定每個輸入，因此標(biāo)定誤差將貫穿整個序列。學(xué)習(xí)時空相關(guān)性可以為網(wǎng)絡(luò)提供運動結(jié)構(gòu)相關(guān)的知識，同時在一定程度契合了傳統(tǒng)相機標(biāo)定的思想。

· 標(biāo)定目標(biāo)的革新

傳統(tǒng)的標(biāo)定目標(biāo)由于與圖像特征之間的隱式關(guān)系，很難通過神經(jīng)網(wǎng)絡(luò)準(zhǔn)確學(xué)習(xí)。為此，一些研究開發(fā)了新穎的學(xué)習(xí)目標(biāo)來替代傳統(tǒng)的標(biāo)定目標(biāo)，為神經(jīng)網(wǎng)絡(luò)提供了更加友好的學(xué)習(xí)表征。此外，一些中間的幾何表示方法也被提出，以彌合圖像特征和標(biāo)定目標(biāo)之間的差距，例如反射振幅系數(shù)圖、矯正流、表面幾何和法向流等。展望未來，我們認為仍有很大的潛力設(shè)計更明確和合理的標(biāo)定目標(biāo)學(xué)習(xí)方法。

· 預(yù)訓(xùn)練策略的探索

在深度學(xué)習(xí)中，使用ImageNet數(shù)據(jù)集進行預(yù)訓(xùn)練已成為一種廣泛使用的策略。然而，近期研究表明，這種方法對于特定的相機標(biāo)定任務(wù)（如廣角相機標(biāo)定）會起到負面作用。這主要由兩個原因造成：數(shù)據(jù)差距和任務(wù)差距。此外，據(jù)我們所知，對于超過單個圖像和單個模態(tài)的標(biāo)定預(yù)訓(xùn)練策略，相關(guān)領(lǐng)域尚未進行深入研究。因此，我們認為探索面向相機標(biāo)定的深度學(xué)習(xí)預(yù)訓(xùn)練策略是一個有趣且有價值的研究方向。

· 隱式、統(tǒng)一模型的構(gòu)建

基于深度學(xué)習(xí)的相機標(biāo)定方法大多使用傳統(tǒng)的參數(shù)化相機模型，這種模型缺乏適應(yīng)復(fù)雜情況的靈活性。非參數(shù)化相機模型將每個像素與其對應(yīng)的三維入射光線相關(guān)聯(lián)，克服了參數(shù)化模型的限制。此外，它們允許隱式和統(tǒng)一的標(biāo)定，通過像素級回歸適配所有相機類型，避免了顯式特征提取和幾何求解等過程。深度學(xué)習(xí)方法顯示出對重建式標(biāo)定任務(wù)的潛力，使得非參數(shù)化模型值得重新審視，并有可能在未來代替參數(shù)化模型。

另一方面，研究人員將隱式、統(tǒng)一表示的優(yōu)勢與神經(jīng)輻射場（NeRF）相結(jié)合，用于重建三維結(jié)構(gòu)和合成新視角。其中，自標(biāo)定NeRF方法可用于具有任意非線性畸變的通用相機，探索了無需標(biāo)定目標(biāo)學(xué)習(xí)深度和自運動的端到端流程。

本綜述認為，隱式和統(tǒng)一相機模型在未來可以用于優(yōu)化基于學(xué)習(xí)的標(biāo)定算法，也可集成到下游的三維視覺任務(wù)中。同時，該領(lǐng)域中精心設(shè)計的幾何先驗、標(biāo)定策略、優(yōu)化方式、學(xué)習(xí)表征等也可用于啟發(fā)NeRF等領(lǐng)域的發(fā)展，以進一步擺脫對相機參數(shù)和相機模型的依賴。

更多的未來研究方向，特別是相機標(biāo)定的實際應(yīng)用研究點，詳見本綜述補充材料的第三章。

六、總結(jié)

我們提供了一份深度學(xué)習(xí)驅(qū)動的相機標(biāo)定技術(shù)綜述，涵蓋了傳統(tǒng)相機模型、新的學(xué)習(xí)范式和學(xué)習(xí)策略、現(xiàn)有方法的詳細回顧、公開的基準(zhǔn)測試以及未來研究方向。為了展示發(fā)展過程和現(xiàn)有工作之間的聯(lián)系，我們提供了一種新的精細分類法，通過同時考慮相機模型和拓展應(yīng)用來對文獻進行分類。此外，在每個類別中，我們都對研究方法的貢獻點、優(yōu)勢和局限性進行了深入地討論。我們將維護一個開放的github倉庫并定期更新最新的工作和數(shù)據(jù)集。我們希望本綜述能夠為相關(guān)研究和從業(yè)者提供一個重要參考，并推動這個領(lǐng)域未來的研究發(fā)展。

作者：廖康@MePro-BJTU、林春雨@MePro-BJTU、張敬@USYD

編輯：黃飛

?