手持RGB-D傳感器廣泛應(yīng)用的情況

從3D場(chǎng)景中實(shí)例形狀重建涉及恢復(fù)多個(gè)對(duì)象的完整幾何結(jié)構(gòu)。這涉及到在語(yǔ)義實(shí)例級(jí)別對(duì)數(shù)據(jù)進(jìn)行處理。使用數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)來(lái)應(yīng)對(duì)場(chǎng)景的復(fù)雜性和室內(nèi)遮擋。方法需要大規(guī)模、高質(zhì)量的數(shù)據(jù)集來(lái)訓(xùn)練，其中包括與真實(shí)世界掃描對(duì)齊和配對(duì)的形狀標(biāo)注。已有數(shù)據(jù)集可能是合成的或不對(duì)齊的，這會(huì)限制數(shù)據(jù)驅(qū)動(dòng)方法在真實(shí)數(shù)據(jù)上的表現(xiàn)。文章提出了一個(gè)名為L(zhǎng)ASA的數(shù)據(jù)集，包含了高質(zhì)量的CAD標(biāo)注和與ArkitScenes的真實(shí)場(chǎng)景掃描對(duì)齊的數(shù)據(jù)，這些由專業(yè)藝術(shù)家手動(dòng)創(chuàng)建。在此基礎(chǔ)上，文章提出了一種名為DisCo的新型基于擴(kuò)散的跨模態(tài)形狀重建方法，利用混合特征聚合設(shè)計(jì)，融合多模態(tài)輸入，并恢復(fù)高保真度的對(duì)象幾何結(jié)構(gòu)。除此之外，還提出了一種名為OccGOD的基于占據(jù)信息引導(dǎo)的3D對(duì)象檢測(cè)方法，并展示了形狀標(biāo)注提供的場(chǎng)景占據(jù)信息線索如何進(jìn)一步改善3D對(duì)象檢測(cè)。經(jīng)過(guò)大量實(shí)驗(yàn)驗(yàn)證，文章的方法在實(shí)例級(jí)別場(chǎng)景重建和3D對(duì)象檢測(cè)任務(wù)中取得了最先進(jìn)的性能。

讀者理解：

LASA 使用大型對(duì)齊形狀注釋數(shù)據(jù)集的做法非常有意義。這使得 LASA 能夠?qū)W習(xí)到更通用的形狀特征，從而提高實(shí)例重建的準(zhǔn)確性和可靠性。

LASA 使用實(shí)例分割、形狀對(duì)齊和生成對(duì)抗網(wǎng)絡(luò)等多種技術(shù)的做法非常合理。這使得 LASA 能夠生成逼真的、高質(zhì)量的實(shí)例 3D 模型。

該研究提出了以下主要方法和貢獻(xiàn)：

LASA數(shù)據(jù)集構(gòu)建：LASA是一個(gè)大規(guī)模數(shù)據(jù)集，包含10,412個(gè)手工制作的高質(zhì)量CAD模型，覆蓋了920個(gè)真實(shí)場(chǎng)景。這些模型與ArkitScenes的3D激光掃描對(duì)齊，為數(shù)據(jù)驅(qū)動(dòng)的重建算法提供了準(zhǔn)確、一致的訓(xùn)練數(shù)據(jù)。

DisCo方法：提出了一種基于擴(kuò)散的跨模態(tài)形狀重建方法。該方法利用三平面擴(kuò)散模型，結(jié)合部分點(diǎn)云和多視圖圖像，實(shí)現(xiàn)了高保真度的3D形狀重建?；旌咸卣骶酆蠈佑行诤狭瞬煌斎肽B(tài)的局部特征，提高了特征對(duì)齊效果。

OccGOD方法：占據(jù)引導(dǎo)的3D物體檢測(cè)方法利用LASA的完整標(biāo)注生成場(chǎng)景級(jí)占據(jù)地面真值，指導(dǎo)3D物體檢測(cè)。這種方法在處理遮擋和稀疏物體方面相較于基線方法取得了顯著的性能提升。

1 引言

本文探討了手持RGB-D傳感器廣泛應(yīng)用的情況，指出由于傳感器精度的限制、室內(nèi)環(huán)境的復(fù)雜性和物體之間的遮擋等問(wèn)題，室內(nèi)場(chǎng)景掃描往往存在噪音和不完整性。這限制了在虛擬/增強(qiáng)現(xiàn)實(shí)和3D行業(yè)等領(lǐng)域中對(duì)完整高質(zhì)量重建的需求。文章著重介紹了3D視覺(jué)和圖形學(xué)領(lǐng)域?qū)κ覂?nèi)實(shí)例級(jí)場(chǎng)景重建的迫切需求，目標(biāo)是基于傳感器捕捉的3D掃描或圖像來(lái)重建觀察到的物體形狀。深度學(xué)習(xí)方法已取得許多進(jìn)展，但這些方法需要大量配對(duì)的場(chǎng)景掃描和CAD模型以進(jìn)行訓(xùn)練。然而，現(xiàn)有的數(shù)據(jù)集往往是合成的或者不對(duì)齊的，限制了數(shù)據(jù)驅(qū)動(dòng)方法在真實(shí)數(shù)據(jù)上的性能。文章介紹了LASA數(shù)據(jù)集的創(chuàng)建，這是一個(gè)大規(guī)模對(duì)齊的形狀標(biāo)注數(shù)據(jù)集，由專業(yè)藝術(shù)家手工制作，與920個(gè)真實(shí)世界場(chǎng)景的3D掃描對(duì)齊。LASA數(shù)據(jù)集的推出旨在解決當(dāng)前研究中的瓶頸，為數(shù)據(jù)驅(qū)動(dòng)的室內(nèi)場(chǎng)景理解和重建提供了途徑。這里也推薦工坊推出的新課程《徹底搞透視覺(jué)三維重建：原理剖析、代碼講解、及優(yōu)化改進(jìn)》。

2 方法

LASA數(shù)據(jù)集包含10,412個(gè)獨(dú)特的CAD模型，覆蓋了920個(gè)場(chǎng)景，采用專業(yè)藝術(shù)家手工創(chuàng)建，并與3D掃描對(duì)齊。這些標(biāo)注為數(shù)據(jù)驅(qū)動(dòng)的重建算法提供了精確一致的訓(xùn)練數(shù)據(jù)。

LASA數(shù)據(jù)集是基于ArkitScenes的3D激光掃描構(gòu)建，通過(guò)降采樣和轉(zhuǎn)換矩陣對(duì)齊實(shí)現(xiàn)數(shù)據(jù)預(yù)處理，再通過(guò)CAD模型手動(dòng)標(biāo)注和驗(yàn)證確保了標(biāo)注質(zhì)量。

LASA數(shù)據(jù)集與其他現(xiàn)有數(shù)據(jù)集相比，具有相似數(shù)量的CAD模型，并且在CAD標(biāo)注質(zhì)量和形狀多樣性方面表現(xiàn)出優(yōu)勢(shì)，同時(shí)能夠提供完整的RGB-D序列，拓展了其在下游應(yīng)用中的可能性。

DisCo方法利用三平面擴(kuò)散模型，結(jié)合了部分點(diǎn)云和多視圖圖像，實(shí)現(xiàn)了高保真度的3D形狀重建。同時(shí)，混合特征聚合層有助于更好地融合不同輸入模態(tài)的局部特征。

OccGOD利用形狀完整性先驗(yàn)從LASA的標(biāo)注中生成場(chǎng)景級(jí)占據(jù)地面真值，以指導(dǎo)3D物體檢測(cè)，在處理遮擋和稀疏物體方面取得了顯著的性能提升。

3 總結(jié)

通過(guò)引入LASA數(shù)據(jù)集，本研究提出了DisCo和OccGOD兩種方法，分別用于跨模態(tài)形狀重建和占據(jù)引導(dǎo)的3D物體檢測(cè)。這兩種方法在真實(shí)場(chǎng)景中取得了最先進(jìn)的性能表現(xiàn)，證明了LASA數(shù)據(jù)集的支持對(duì)于改善室內(nèi)場(chǎng)景理解和重建領(lǐng)域的標(biāo)注質(zhì)量和數(shù)量至關(guān)重要。