標(biāo)注神器！AAAI'24最新：第一個交互式3D目標(biāo)檢測器！

1. 寫在前面

在LiDAR場景中標(biāo)注3D目標(biāo)非常繁瑣，今天筆者為大家推薦一篇加速3D標(biāo)注的最新工作iDet3D。這個交互式的標(biāo)注算法支持2D界面，可以以最少的交互來標(biāo)注每個場景中的整個目標(biāo)。

下面一起來閱讀一下這項(xiàng)工作~

2. 摘要

對LiDAR場景中的多個三維物體進(jìn)行精確標(biāo)注是一項(xiàng)費(fèi)力且具有挑戰(zhàn)性的工作。盡管先前的一些研究試圖利用半自動方法來進(jìn)行具有成本效益的邊界框標(biāo)注，但這些方法在有效地處理大量多類對象方面具有局限性。為了有效加速3D標(biāo)注流水線，我們提出了一種高效的交互式3D目標(biāo)檢測器iDet3D。iDet3D支持用戶友好的2D界面，可以減輕探索3D空間提供點(diǎn)擊交互的認(rèn)知負(fù)擔(dān)，使用戶能夠以最少的交互來標(biāo)注每個場景中的整個物體?？紤]到三維點(diǎn)云的稀疏性，我們設(shè)計了負(fù)點(diǎn)擊模擬( negative click simulation，NCS )，通過減少假陽性預(yù)測來提高精度。此外，iDet3D結(jié)合了兩種點(diǎn)擊傳播技術(shù)，以充分利用用戶交互：( 1 )密集點(diǎn)擊引導(dǎo)( DCG )，用于在整個網(wǎng)絡(luò)中保存用戶提供的信息；( 2 )空間點(diǎn)擊傳播( SCP )，用于根據(jù)用戶指定的對象檢測同一類的其他實(shí)例。通過我們的大量實(shí)驗(yàn)，我們發(fā)現(xiàn)我們的方法可以在少量的點(diǎn)擊中構(gòu)建精確的注釋，這表明了我們的方法作為三維物體檢測的有效注釋工具的實(shí)用性。

3. 效果展示

iDet3D中點(diǎn)擊編碼的可視化示例：(a) 輸入點(diǎn)云和用戶點(diǎn)擊(紅色箭頭)。(b) 在目標(biāo)對象上突出顯示相應(yīng)的基于距離編碼的用戶交互。

看一下具體標(biāo)注過程：( a ) 給定輸入點(diǎn)云。( b ) 提供對行人的正向點(diǎn)擊(紅色圓圈)，iDet3D在一次點(diǎn)擊中檢測到場景中多個不同類別的物體。( c )在第2次迭代中，通過增加一個負(fù)點(diǎn)擊(藍(lán)色圓圈)，可以一次性過濾掉假陽性預(yù)測。( d )真值。在幾次迭代內(nèi)，就可以獲得高質(zhì)量的標(biāo)注結(jié)果。

4. 具體原理是什么？

考慮到3D點(diǎn)云的稀疏性質(zhì)，iDet3D設(shè)計了負(fù)點(diǎn)擊模擬 (NCS)，通過減少誤報預(yù)測來提高準(zhǔn)確性。還結(jié)合了兩種點(diǎn)擊傳播技術(shù)來充分利用用戶交互：(1) 密集點(diǎn)擊引導(dǎo) (DCG)，用于在整個網(wǎng)絡(luò)中保留用戶提供的信息；(2) 空間點(diǎn)擊傳播 (SCP)，用于檢測其他實(shí)例。

iDet3D的訓(xùn)練流程。給定用戶對目標(biāo)對象的點(diǎn)擊，將點(diǎn)擊轉(zhuǎn)化為點(diǎn)擊編碼。( a )密集點(diǎn)擊引導(dǎo)( DCG )在輸入端和中間層將編碼融合到骨干網(wǎng)架構(gòu)中。( b )負(fù)點(diǎn)擊模擬( Negative Click Simulation，NCS )通過選擇具有高前景分?jǐn)?shù)的具有挑戰(zhàn)性的背景點(diǎn)來隨機(jī)模擬可能的負(fù)點(diǎn)。( c )后續(xù)的空間點(diǎn)擊傳播( Spatial Click Propagation，SCP )模塊根據(jù)特征嵌入之間的相似性，有效地傳播用戶點(diǎn)擊來檢測同一類的其他對象。

利用空間點(diǎn)擊傳播( SCP )模塊生成關(guān)聯(lián)圖的實(shí)例：( a )點(diǎn)擊關(guān)于N個輸入點(diǎn)的汽車對象(紅色箭頭)上的編碼E。( b )對N′個降采樣點(diǎn)(經(jīng)過降采樣層從N點(diǎn)降至N′點(diǎn))點(diǎn)擊編碼E′。( c )由SCP生成的點(diǎn)擊相關(guān)圖M和( d )與真實(shí)3D邊界框覆蓋的可視化。注意，與點(diǎn)擊同一類的點(diǎn)在輸出的相關(guān)圖中被突出顯示。

5. 和其他SOTA方法對比如何？

baseline和iDet3D在KITTI val集上的定量結(jié)果。

nuScenes數(shù)據(jù)集的基線和iDet3D ( IA-SSD Backbone)的定量結(jié)果。

6. 總結(jié)

這篇文章提出了第一個交互式3D目標(biāo)檢測器iDet3D，能夠在幾次點(diǎn)擊中檢測出大量的多類物體。iDet3D設(shè)計了NCS來過濾通過負(fù)點(diǎn)擊產(chǎn)生的假陽性預(yù)測，以及兩個點(diǎn)擊傳播模塊( DCG和SCP)來為用戶提供指導(dǎo)。但是在這項(xiàng)工作中，iDet3D僅對單幀圖像進(jìn)行分析，忽略了連續(xù)幀之間的互補(bǔ)信息。未來作者將考慮處理多個連續(xù)幀之間需要對齊的點(diǎn)嵌入，進(jìn)一步改進(jìn)iDet3D。