如何克服邊緣視覺(jué)的帶寬限制？

在追求更高像素、幀率和空間分辨率的視覺(jué)行業(yè)，邊緣視覺(jué)與圖像采集面臨巨大挑戰(zhàn)。其中，1GigE相機(jī)輸出已不足，傳輸問(wèn)題有待解決。與此同時(shí)，圖像傳感器的快速發(fā)展也使接口帶寬成為瓶頸。

虹科提出創(chuàng)新解決方案，通過(guò)圖像采集卡實(shí)現(xiàn)壓縮和預(yù)處理，滿足高帶寬、低延遲需求。開放的FPGA支持快速算法開發(fā)。虹科-Gidel FantoVision 40小型計(jì)算機(jī)是我們的杰作。這款產(chǎn)品連接多相機(jī)實(shí)現(xiàn)高效圖像采集和處理，將打開視覺(jué)應(yīng)用新篇章。

01

邊緣視覺(jué)與圖像采集挑戰(zhàn)

邊緣視覺(jué)是指將相機(jī)連接到邊緣計(jì)算機(jī)或嵌入式計(jì)算機(jī)，并在云端進(jìn)行處理或存儲(chǔ)。此外，它也在一些機(jī)器控制方面發(fā)揮著重要作用。我們收到了客戶的反饋，對(duì)于1GigE相機(jī)的輸出已經(jīng)不足以滿足需求，因此只能將其連接到PLC。為了解決這一問(wèn)題，我們需要相機(jī)的第二個(gè)1 GigE的輸出通道，以便能夠?qū)D像數(shù)據(jù)傳輸?shù)皆品?wù)器。

圖1 邊緣視覺(jué)的過(guò)程

機(jī)器視覺(jué)行業(yè)開始不斷追求更多像素、更高幀率以及更高的空間和時(shí)間分辨率。正如圖中所示，你能看到許多圖像傳感器（棕色點(diǎn)）。它們通過(guò)連接線連接到典型的接口，藍(lán)線代表PCIe 3.0，紅線代表CoaXPress v2 x4。然而，當(dāng)圖像傳感器的帶寬超過(guò)某條線時(shí)，接口的帶寬已經(jīng)不足以傳輸數(shù)據(jù)。

圖2 不同圖像傳感器的參數(shù)對(duì)比

事實(shí)上，許多圖像傳感器的帶寬比10GigE和CoaXPressv1更快，甚至比100GigE接口還要快。這表明圖像傳感器取得了巨大進(jìn)步，能夠提供高幀率、高像素和快速傳輸。盡管我們?cè)诮涌诜矫嬉踩〉昧艘恍┻M(jìn)步，帶寬速度不斷提高，但仍面臨挑戰(zhàn)，特別是要與傳感器的發(fā)展速度匹配，以及解決GPU和CPU性能不足的問(wèn)題。

在面對(duì)高分辨率高速傳感器的解決方案時(shí)，我們同時(shí)面臨著多個(gè)瓶頸，例如攝像頭接口、GPU和CPU橋接接口，以及CPU的負(fù)載和處理能力。實(shí)際上，計(jì)算機(jī)上送云端的帶寬最好情況下也只有1G。

而如果有多個(gè)攝像頭，情況會(huì)變得更復(fù)雜。想象一下有多個(gè)10GigE、CoaXPress或100 GigE相機(jī)，以100 GigE相機(jī)為例，速度每秒96千兆比特乘以攝像機(jī)的數(shù)量。然而，大多數(shù)情況下，電腦最大帶寬接口PCIe 3.0只有48千兆比特每秒，這成為了一個(gè)關(guān)鍵的瓶頸。

02

解決方案

為了解決這些問(wèn)題，我們提出了一種解決方案，即在多攝像頭和CPU架構(gòu)之間放置圖像采集卡，從而實(shí)現(xiàn)壓縮和預(yù)處理。圖像采集設(shè)備能夠提取感興趣區(qū)域（ROI），進(jìn)而減少總數(shù)據(jù)帶寬。因此，我們需要滿足實(shí)際應(yīng)用的需求，包括高帶寬相機(jī)接口、多相機(jī)接口、超高精度同步和可定制的IOs用于控制外圍設(shè)備。在處理過(guò)程中，還需要低延遲、大DRAM以支持計(jì)算復(fù)雜的算法，因此需要多個(gè)千兆比特每秒的內(nèi)存訪問(wèn)帶寬。實(shí)時(shí)壓縮和ROI選擇是解決這些問(wèn)題的有效方法。

圖3 圖像采集卡的作用

圖4 圖像采集卡的作用

考慮到開發(fā)人員的需求，便捷的開發(fā)也是一個(gè)關(guān)鍵因素。我們采用了開放的FPGA，使得軟件工程師可以在圖像采集卡上放置特定的IP，并利用FPGA集成開發(fā)環(huán)境快速實(shí)現(xiàn)算法和方案開發(fā)。這要求圖像采集卡在靈活性和易用性方面也要表現(xiàn)出色。

最后，關(guān)于系統(tǒng)集成，我們考慮到若有PCI 3.0 x8或x16接口能夠獲得最大性能，并且具備小尺寸和被動(dòng)冷卻性能，我們未來(lái)或許可以考慮將圖像采集卡和計(jì)算機(jī)合二為一。

03

虹科產(chǎn)品與解決方案

基于上文的發(fā)展背景，虹科推出了一款名為虹科-Gidel FantoVision 40的開創(chuàng)性小型計(jì)算機(jī)。這款計(jì)算機(jī)可以連接高達(dá)4臺(tái)10GigE Vision或4臺(tái)CoaXPress 2.0相機(jī)，從而實(shí)現(xiàn)圖像采集和處理。該計(jì)算機(jī)的創(chuàng)新架構(gòu)將高端圖像采集與實(shí)時(shí)圖像處理和/或壓縮相結(jié)合，采用了Nvidia JetsonTM嵌入式計(jì)算機(jī)，并在Intel Arria 10TM FPGA上進(jìn)行可選的預(yù)處理/壓縮。

圖5 HK-Gidel FantoVision 40產(chǎn)品

此外，虹科-Gidel FantoVision還有一個(gè)顯著特點(diǎn)，即其開放式體系結(jié)構(gòu)支持GPU和FPGA上的嵌入式AI/圖像處理。軟件工程師可以利用CUDA C/C++和NVIDIA的庫(kù)在GPU上編寫他們的算法。此外，使用新穎的ProcVision套件，在FPGA上開發(fā)和部署可選的預(yù)處理塊既簡(jiǎn)單又快速。

通過(guò)多個(gè)虹科-Gidel FantoVision單元的相互連接，我們可以提供獨(dú)特且可擴(kuò)展的拓?fù)浣Y(jié)構(gòu)。利用InfiniVision開放式框架抓取器流程，我們可以處理多達(dá)100個(gè)傳感器的同步數(shù)據(jù)。

綜上所述，虹科-Gidel FantoVision為高帶寬、低延遲應(yīng)用提供了一種新型緊湊、經(jīng)濟(jì)高效、可擴(kuò)展的視覺(jué)和成像解決方案。例如，在交通監(jiān)測(cè)和面板檢測(cè)等應(yīng)用中，它能夠提取和識(shí)別高分辨能夠提取和識(shí)別高分辨率圖像中的關(guān)鍵信息，如車牌號(hào)碼等。這些信息可以通過(guò)云端或其他設(shè)備進(jìn)行傳輸，而不需要過(guò)多的帶寬。

圖6 應(yīng)用案例