基于LiDAR點(diǎn)流的運(yùn)動(dòng)事件檢測(cè)

1. 寫(xiě)在前面

今天為大家推薦一篇香港大學(xué)MARS實(shí)驗(yàn)室最新開(kāi)源的工作，使用激光雷達(dá)實(shí)現(xiàn)了微秒級(jí)的運(yùn)動(dòng)事件檢測(cè)，發(fā)表在Nature子刊Nature Communications上。

下面一起來(lái)膜拜一下這項(xiàng)神作~

2. 摘要

在動(dòng)態(tài)環(huán)境中，機(jī)器人需要對(duì)具有微秒級(jí)延遲的運(yùn)動(dòng)事件進(jìn)行瞬時(shí)檢測(cè)。這個(gè)任務(wù)，稱為移動(dòng)事件檢測(cè)，通常是使用事件相機(jī)來(lái)實(shí)現(xiàn)的。盡管激光雷達(dá)( Light Detection and Ranging，LiDAR )傳感器因其密集和精確的深度測(cè)量而對(duì)機(jī)器人至關(guān)重要，但其在事件檢測(cè)中的應(yīng)用尚未得到深入探索。目前的方法涉及將LiDAR點(diǎn)積累到幀和檢測(cè)物體級(jí)別的運(yùn)動(dòng)，導(dǎo)致了幾十到幾百毫秒的延遲。我們提出了一種不同的方法，稱為M-detector，它確定一個(gè)點(diǎn)是否在到達(dá)后立即移動(dòng)，從而導(dǎo)致一個(gè)延遲僅為幾微秒的逐點(diǎn)檢測(cè)。M-detector是基于遮擋原理設(shè)計(jì)的，可以在不同環(huán)境下使用多種類型的LiDAR傳感器。我們的實(shí)驗(yàn)證明了M-detector在各種數(shù)據(jù)集和應(yīng)用上的有效性，顯示了其優(yōu)越的準(zhǔn)確性、計(jì)算效率、檢測(cè)延遲和泛化能力。

3. 效果展示

M-detector對(duì)場(chǎng)景中的運(yùn)動(dòng)進(jìn)行瞬時(shí)檢測(cè)，即對(duì)突然穿過(guò)的行人進(jìn)行檢測(cè)。行人在0.01 s時(shí)從墻后冒出，在不檢查路況的情況下迅速進(jìn)入道路（a）。b：檢測(cè)靜止的行人開(kāi)始運(yùn)動(dòng)。女士在十字路口等待，直到0.4 s，她抬起腿開(kāi)始過(guò)馬路。其余行人保持靜止，未開(kāi)始移動(dòng)。在這兩種情況下，第一行顯示的都是圖像序列，第二行顯示了在Livox AVIA激光雷達(dá)上M-detector的最后100 ms的檢測(cè)結(jié)果，該激光雷達(dá)具有非傳統(tǒng)的非重復(fù)不規(guī)則掃描模式。M-detector在點(diǎn)到達(dá)后立即判斷點(diǎn)是否在移動(dòng)物體上，導(dǎo)致檢測(cè)延遲小于LiDAR點(diǎn)采樣間隔(幾微秒)。M-detector基于第一性原理即遮擋原理設(shè)計(jì)，檢測(cè)場(chǎng)景中任何運(yùn)動(dòng)部分采樣的點(diǎn)，而不管其形狀如何。

4. 具體原理是什么？

M-Detector與M-Cell的類比。M-detector以逐點(diǎn)檢測(cè)的方式從LiDAR點(diǎn)流中檢測(cè)移動(dòng)事件，導(dǎo)致檢測(cè)延遲僅為2 ~ 4 μs。M-detector的低潛伏期類似于人類視覺(jué)系統(tǒng)外側(cè)膝狀體核( LGN )中的巨細(xì)胞細(xì)胞( M-cells)，同樣具有較快的響應(yīng)時(shí)間，但分辨率較低。相比之下，將點(diǎn)累加到幀中會(huì)導(dǎo)致更高的分辨率，但也會(huì)導(dǎo)致更長(zhǎng)的延遲(例如, 100毫秒)，這一現(xiàn)象類似于LGN中的小細(xì)胞性的細(xì)胞( P-cells )。

遮擋原理。a：當(dāng)物體穿過(guò)激光雷達(dá)的激光射線時(shí)，當(dāng)前點(diǎn)(藍(lán)色點(diǎn))將遮擋之前在Tk-1時(shí)刻采集到的點(diǎn)(橙色點(diǎn))。b：當(dāng)物體沿激光射線運(yùn)動(dòng)并遠(yuǎn)離傳感器時(shí)，當(dāng)前點(diǎn)(藍(lán)色點(diǎn))將被之前的所有點(diǎn)( (即Tk-1處的橙色點(diǎn)和Tk-i處的綠色點(diǎn)) )遮擋，然后被自己的(即Tk-1處的橙色點(diǎn)被Tk-i處的綠色點(diǎn)遮擋)進(jìn)一步遮擋。當(dāng)物體沿著激光射線向傳感器方向移動(dòng)時(shí)，當(dāng)前點(diǎn)(藍(lán)色點(diǎn))將遮擋所有先前的點(diǎn)(即Tk-1處的橙色點(diǎn)和Tk-i處的綠色點(diǎn))，并進(jìn)一步遮擋自己的(即Tk-1處的橙色點(diǎn)包圍Tk-i處的綠色點(diǎn))。

M-detector的系統(tǒng)工作流程（a）和事件檢測(cè)步驟（b）。

5. 和其他SOTA方法的對(duì)比

M-detector在不同數(shù)據(jù)集上的性能。a：不同方法在不同數(shù)據(jù)集上的IoU結(jié)果。b：M-detector、LMNet-8*和SMOS在KITTI上的比較。場(chǎng)景圖像為序列15中的第68幀。c：AVIA-Indoor數(shù)據(jù)集細(xì)節(jié)。左列顯示場(chǎng)景中拍攝的圖像，右列顯示M-detector在frame-out模式下對(duì)應(yīng)的檢測(cè)結(jié)果。在上述所有檢測(cè)結(jié)果中，紅色點(diǎn)代表該方法標(biāo)記的事件點(diǎn)，白色點(diǎn)代表非事件點(diǎn)。

不同數(shù)據(jù)集上的時(shí)間消耗和檢測(cè)延遲。a：不同方法在不同數(shù)據(jù)集上的每幀時(shí)間消耗。時(shí)間消耗以log尺度表示。b：M-detector在不同數(shù)據(jù)集上的時(shí)間消耗分解和檢測(cè)延遲。外環(huán)代表時(shí)間消耗分解，包括事件檢測(cè)、聚類和區(qū)域增長(zhǎng)以及深度圖像構(gòu)建。圓環(huán)的總長(zhǎng)度表示框架周期，由上述3個(gè)步驟以不同的顏色和相應(yīng)的數(shù)字所占據(jù)。每個(gè)圓環(huán)的未著色部分表示每幀空閑時(shí)間。粉紅色的中環(huán)扇區(qū)代表了M-detector在frame-out模式下的檢測(cè)延遲，它是由事件檢測(cè)和聚類與區(qū)域增長(zhǎng)共同引起的。褐色內(nèi)點(diǎn)表示M-detector在point-out模式的檢測(cè)延遲，僅由單點(diǎn)的事件探測(cè)引起。環(huán)中心的單詞和數(shù)字分別表示數(shù)據(jù)集的名稱和對(duì)應(yīng)的幀周期。

審核編輯：黃飛

?