使用高通的Snapdragon 820啟用深度相機(jī)

深度相機(jī)對機(jī)器人世界至關(guān)重要，現(xiàn)在有不同的形狀和框架。為了在現(xiàn)實世界中尋找物體或路徑，機(jī)器人需要對周圍環(huán)境有感知。這些相機(jī)中的大多數(shù)使用兩個具有一定距離的相機(jī)并進(jìn)行大量處理以從這兩個 2D 捕獲的視頻中創(chuàng)建一個 3D 世界。在大多數(shù)情況下，原始捕獲的視頻需要傳遞給其他模塊用于不同的目的——這是大多數(shù)現(xiàn)有深度相機(jī)模塊所缺少的部分之一。在本文中，我們將介紹 Qualcomm 的 Snapdragon 820 作為實時深度攝像頭的解決方案，同時不會丟失雙攝像頭系統(tǒng)的基本功能。

高通的 Snapdragon 820 是其系列中功能更強(qiáng)大的 SoC 之一。該 SoC 有一個八核 ARM CPU 作為應(yīng)用處理器，可與一些子系統(tǒng)（如 GPU、DSP、RPM 等）配合使用。Hexagon DSP 是一個功能強(qiáng)大的 DSP，具有多個硬件線程、數(shù)據(jù)包指令、L1 和 L2 緩存，以及對外圍設(shè)備和雙倍數(shù)據(jù)速率 （DDR） 的訪問，例如應(yīng)用處理器 Qualcomm （APQ） 和超長指令字 （VLIW）。在 820 中，使用了該結(jié)構(gòu)的版本 6。在這個新結(jié)構(gòu)中，提供了一個可以處理 1024 位向量的 Hexagon Vector eXtension （HVX） 協(xié)處理器。

您可以利用 HVX 進(jìn)行高分辨率圖像處理。Snapdragon 820 提供的其他功能之一是能夠?qū)⒍ㄖ颇K添加到圖像信號處理 （ISP） 管道（圖 1）。

【圖1 | ISP中的HVX模塊］

在 ISP 管道中擁有一個自定義模塊將讓用戶在將圖像傳遞給 ISP 中的其他模塊之前對其進(jìn)行處理。該模塊的輸入是拜耳和非拜耳格式，輸出為拜耳格式。該模塊可以直接訪問DDR，處理結(jié)果可以實時提供給高級操作系統(tǒng)（HLOS）。

Snapdragon 820 有兩個 ISP，并且兩個管道都可以包含定制的圖像處理模塊。換句話說，如果您將兩臺相機(jī)連接到 820，您可以為每臺相機(jī)單獨定制圖像處理。如果用戶想為兩個自定義圖像處理模塊使用 HVX 模塊，他們可以使用 512 位矢量。使用定制的圖像處理模塊將使 Hexagon 處于特定模式，該模式將為每個定制的圖像處理模塊分配兩個特定的硬件線程（圖 2）。

【圖2 | HVX模塊和HT］

加工結(jié)構(gòu)

出于我們的目的，我們使用了兩個具有相同分辨率的相機(jī)，它們排列在一個固定的夾具中。這意味著我們知道兩個相機(jī)之間的重疊程度。我們使用如圖 3 所示的處理管道。

【圖3 | 處理塊］

使用神經(jīng)網(wǎng)絡(luò)解決方案（圖 1），我們可以使用 HVX 模塊同時對兩個相機(jī)圖像進(jìn)行邊緣檢測過程。一個相機(jī)上的邊緣檢測圖像使用反饋指針傳遞給另一個相機(jī)。然后，使用 SAD 算法對這兩個圖像進(jìn)行處理。結(jié)果將在 DDR 中用于與 HLOS 共享。如前所述，相機(jī)的位置和對齊方式是固定的，可用于找到兩個捕獲圖像的重疊部分。如果不是這種情況，那么我們需要在整個過程中添加重疊檢測模塊。

實驗

將兩個攝像機(jī)固定在一個靜態(tài)幀中，我們可以看到幀具有固定的重疊。

【圖4 | 兩個具有固定重疊和使用 NN 的相關(guān)邊緣檢測的相機(jī)的視圖］

在兩個相關(guān)幀上使用 SAD 算法，并通過插值將數(shù)字轉(zhuǎn)換為灰度，我們得到了如圖 5 所示的結(jié)果。

【圖5 | 差異結(jié)果］

使用這種算法，我們可以達(dá)到 30 FPS 的全高清視頻，同時視頻可以無中斷地提供給 HLOS。

審核編輯：郭婷