基于像素處理器陣列（PPA）器件的最先進(jìn)的智能相機(jī)系統(tǒng)

用于敏捷自主機(jī)器人的視覺處理需要在有限的功耗和空間預(yù)算內(nèi)完成低延時(shí)計(jì)算。這對(duì)傳統(tǒng)計(jì)算硬件來說是一項(xiàng)挑戰(zhàn)。并行處理器陣列（Parallel processor arrays）是一種新型視覺傳感器架構(gòu)，該陣列利用半導(dǎo)體技術(shù)的進(jìn)步，在圖像傳感器陣列的每個(gè)像素中嵌入了處理器。感測到的像素?cái)?shù)據(jù)可以直接在焦平面上進(jìn)行處理，因此只有少量的相關(guān)信息從視覺傳感器傳輸出去。這種在大規(guī)模并行計(jì)算架構(gòu)中的傳感、處理和存儲(chǔ)的緊密融合造就了機(jī)器視覺系統(tǒng)在高性能、低延時(shí)、低功耗、低成本與多功能性之間的有趣權(quán)衡。

據(jù)麥姆斯咨詢報(bào)道，近日，英國曼徹斯特大學(xué)（The University of Manchester）與英國布里斯托大學(xué)（University of Bristol）的研究者共同合作在Science Robotics發(fā)表了以“Sensor-level computer vision with pixel processor arrays for agile robots”為主題的綜述論文。該論文通訊作者為曼徹斯特大學(xué)電氣工程與電子系的Piotr Dudek。

這項(xiàng)研究首先從像素內(nèi)計(jì)算的角度回顧了圖像傳感器和處理硬件的歷史；然后，通過對(duì)SCAMP-5系統(tǒng)的描述，概述了基于像素處理器陣列（PPA）器件的最先進(jìn)的智能相機(jī)系統(tǒng)的關(guān)鍵特征；隨后，描述了多種關(guān)于敏捷地面和空中飛行器的機(jī)器人應(yīng)用，證實(shí)了PPA的傳感功能，這些應(yīng)用包括高速里程計(jì)、目標(biāo)跟蹤、障礙物探測和避讓。最后在結(jié)論中，該研究對(duì)PPA器件的未來發(fā)展提供了一些見解和展望，包括其在敏捷、穩(wěn)固、強(qiáng)適應(yīng)性和輕量級(jí)機(jī)器人中的應(yīng)用及優(yōu)勢。

典型視覺系統(tǒng)方法的比較

在傳統(tǒng)的視覺系統(tǒng)（如上圖A所示）中，通常利用相機(jī)中的圖像傳感器來獲取視覺信息、生成視頻幀并發(fā)送至處理硬件。盡管在提升此類硬件的速度和效率方面的相關(guān)研究不斷取得進(jìn)展，但其發(fā)展的根本限制來自于“傳感器-處理器”的瓶頸。在此過程中，大量的視覺數(shù)據(jù)被采集、數(shù)字化，然后從相機(jī)端發(fā)送至處理器，然后在整個(gè)處理系統(tǒng)中完成運(yùn)算。這樣會(huì)大幅限制系統(tǒng)延時(shí)和功耗降低。

為了克服這種限制，需要將數(shù)據(jù)處理轉(zhuǎn)移到更靠近傳感器的位置（如上圖B所示）。這樣視覺傳感器的作用不僅僅是獲取視覺信號(hào)，而是還要對(duì)信號(hào)進(jìn)行處理、產(chǎn)生有意義且高度壓縮的信息，來替代原來的視頻幀。由此產(chǎn)生的傳感器級(jí)別的數(shù)據(jù)縮減，不僅加快了數(shù)據(jù)傳輸速度，而且降低了對(duì)下游計(jì)算硬件的要求。為了實(shí)現(xiàn)該目標(biāo)，近傳感器處理硬件需要提供高計(jì)算性能和低功耗的組合。處理電路通常是并行數(shù)字信號(hào)處理單元或更專業(yè)的硬件。將感知和處理保持在近距離，可以實(shí)現(xiàn)更大的“傳感器-處理器”帶寬，并降低與遠(yuǎn)距離信號(hào)通信相關(guān)的功率。這顯然是有利的，但將單獨(dú)的傳感器和處理器電路放在一個(gè)器件上的好處僅僅在于可以實(shí)現(xiàn)傳統(tǒng)視覺傳感器的小型化；從根本上講，“傳感器-處理器”的瓶頸仍然存在。而如今的微電子技術(shù)可以通過重新設(shè)計(jì)像素級(jí)傳感器電路來徹底消除這種瓶頸。本研究中使用的方法已超越了圖像傳感器和處理器的共置：它將計(jì)算硬件放在圖像信息獲取的位置，進(jìn)入了圖像傳感器像素本身（如上圖D所示）。

圖像傳感器中的像素級(jí)電路

像素內(nèi)處理的概念可以更進(jìn)一步，通過在圖像傳感器中每個(gè)像素內(nèi)集成完整的可編程處理器核心，可顯著提升器件的復(fù)雜度和靈活性，這類器件被稱為像素處理器陣列（PPA），如下圖所示。

像素處理器陣列（PPA）

研究中的SCAMP-5系統(tǒng)如下圖所示。其中的核心PPA功能是由定制型集成電路提供，但SCAMP-5視覺芯片、大多數(shù)外圍組件（如微控制器、FPGA器件、ADC和DAC等）均使用組裝在印刷電路板上的現(xiàn)成電子器件來實(shí)現(xiàn)。這將大幅增加整個(gè)相機(jī)系統(tǒng)的尺寸和功耗，可能會(huì)限制部分實(shí)際應(yīng)用，但提供了易于使用的研究原型。

SCAMP-5智能相機(jī)系統(tǒng)

該SCAMP-5陣列的顯著特點(diǎn)是其全局和基于事件的讀取模式。雖然圖像處理的結(jié)果讀取為二進(jìn)制或灰度圖像幀，這通常在程序開發(fā)/調(diào)試階段完成，但PPA最強(qiáng)大的特點(diǎn)在于可以在像素內(nèi)部完成處理圖像，只有計(jì)算的結(jié)果才會(huì)從傳感器器件輸出。下圖列舉了SCAMP-5系統(tǒng)執(zhí)行的幾種基本算法及其執(zhí)行時(shí)間，如卷積濾波器、角提取和光流計(jì)算等基本的像素并行操作在PPA中很容易實(shí)現(xiàn)。

在SCAMP-5 PPA上執(zhí)行的多種圖像處理算法

這項(xiàng)研究還介紹了完全可編程PPA器件在敏捷機(jī)器人系統(tǒng)中的應(yīng)用。常見應(yīng)用主要有：敏捷目標(biāo)跟蹤和探測（Agile object tracking and detection）、傳感器視覺里程計(jì)（On-sensor visual odometry，VO）、繪圖測繪和定位（Pictorial mapping and localization）。

PPA方法的關(guān)鍵是在像素級(jí)完成信息提取和數(shù)據(jù)壓縮，從而實(shí)現(xiàn)了從傳感器器件到系統(tǒng)其余部分的高效、高速信息傳輸。傳感器生成的稀疏數(shù)據(jù)類型需要針對(duì)每種應(yīng)用進(jìn)行優(yōu)化。對(duì)此有希望的解決方案是優(yōu)化從傳感策略到主機(jī)級(jí)處理的整個(gè)流程。同時(shí)，PPA器件不僅能處理圖像數(shù)據(jù)，還能影響光傳感本身（例如每個(gè)像素中的可編程曝光級(jí)別）。

除了前文提到的三大應(yīng)用外，另一方面的應(yīng)用是人機(jī)交互，在低延時(shí)注視跟蹤和手勢識(shí)別方面有潛在的應(yīng)用。PPA器件的應(yīng)用已超越了機(jī)器人系統(tǒng)，可擴(kuò)展到更通用的計(jì)算機(jī)視覺應(yīng)用領(lǐng)域，隨著微電子芯片集成和封裝技術(shù)的改進(jìn)，該領(lǐng)域有望繼續(xù)取得進(jìn)展。PPA還可以在發(fā)展更好的隱私感知系統(tǒng)中找到機(jī)遇，這類系統(tǒng)可以智能地關(guān)注從PPA輸出的數(shù)據(jù)。因此，可以預(yù)測，基于PPA的視覺傳感器能夠以高時(shí)間分辨率、低延時(shí)和低功耗來產(chǎn)生高信息量的稀疏數(shù)據(jù)，將越來越多地應(yīng)用于各種未來的機(jī)器人系統(tǒng)。

這項(xiàng)研究工作獲得英國工程和物理科學(xué)研究委員會(huì)（Engineering and Physical Sciences Research Council，EP/M019284/1(P.D.)和EP/M019454/1 (W.M. and T.R.)）的資金支持。

論文鏈接：
https://www.science.org/doi/10.1126/scirobotics.abl7755

審核編輯 ：李倩