基于GreenWaves Technologies GAPuino開發(fā)板的AI圖像識別方案

一、 前言

臉部辨識是一個從影像或影片中識別人物的系統(tǒng)，此技術(shù)已經(jīng)存在幾十年，但在過去的幾年里，它的應(yīng)用越來越明顯和普及，因為它現(xiàn)在為創(chuàng)新解決方案提供技術(shù)支援，像蘋果推出Face ID功能取代指紋辨識，讓消費者也注意人臉辨識的應(yīng)用。

臉部辨識在許多應(yīng)用程式和行業(yè)垂直領(lǐng)域都很實用，在臉部上取出具有“辨別度”的特征值，相同的一個人在不圖裝扮、表情與視角的情境之下，還具有非常類似的特征值。相反地？？，對于不同人的臉部，特征值是不同的，必需很容易區(qū)別出來。在使用人工智能（AI）之前，使用特定算法：每個工程師必須開不同的算法，使用不同的模型，去準(zhǔn)確達(dá)到臉部偵測、人臉特征值的擷取以達(dá)到臉部辨識效果。

二、硬體介紹

本方案推薦使用GreenWaves Technologies GAPuino開發(fā)板搭配PixArt PAJ6100U6攝像頭模組，GAPuino使用SPI設(shè)定PAJ6100U6暫存器參數(shù)，透過CPI從PAJ6100U6取得圖像資料傳送至GAPuino，GAPuino進(jìn)行推論算法CNN或SSD，透過推論結(jié)果產(chǎn)生圖像歸類，例如人臉、貓及狗，當(dāng)推論結(jié)果辨識為人臉時，即可控制門鎖開門或其他應(yīng)用。

GreenWaves Technologies GAPuino內(nèi)置GAP8芯片，GAP8是一款多核可編程超低功耗應(yīng)用處理器，旨在為物聯(lián)網(wǎng)邊緣端（傳感器端）提供新一代超低功耗應(yīng)用平臺，用于將圖像，聲音等復(fù)雜信息在本地即完成一些較復(fù)雜運算，如卷積神經(jīng)網(wǎng)絡(luò)推理等。GAP8物聯(lián)網(wǎng)應(yīng)用處理器采用臺積電55nm超低功耗制程，以致于讓長期依賴電池供電的邊緣設(shè)備可以智能化。GAP8采用八加一個基于RISC-V的高效內(nèi)核的方式設(shè)計，并植入了自己的擴展指令集（DSP，向量化， SIMD，復(fù)數(shù)運算等），這讓它擁有極致的能效架構(gòu)。

原相（PixArt）科技的always-on低功耗電腦視覺感測器 （Ultra-Low Power Computer Vision） 產(chǎn)品以獨特的省電架構(gòu)進(jìn)行開發(fā)，PAJ6100U6 系由一個低功耗全域快門 QVGA （320x240） 感測器，以及一個具 90 度對角視野 （diagonal field of view） 的可回流焊光學(xué)鏡頭而組成。其可低至 1400uW （30fps QVGA） 的耗電功率，極低功耗下持續(xù)支援智慧觸發(fā)機制和視覺決策能力，對于須透過視覺來感知周遭環(huán)境的裝置，是不可或缺的一部分，適合為人工智能學(xué)習(xí)裝置提供視覺相關(guān)服務(wù)，可應(yīng)用于智能門鎖、智能玩具（Always ON臉部與表情偵測）、智能家電與物聯(lián)網(wǎng)。

三、系統(tǒng)流程

使用云端平臺或電腦進(jìn)行訓(xùn)練模型，當(dāng)模型訓(xùn)練完成后，使用gap_sdk內(nèi)的nntool進(jìn)行轉(zhuǎn)換，將轉(zhuǎn)換后的模型導(dǎo)入程式碼中，搭配PixArt全局式快門（Global Shutter）功能，取得完整圖像進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network；CNN ）推論判斷，GAPuino只具備推論功能，模型的部分請使用者自行訓(xùn)練。GAPuino可視為超低功耗Edge AI，無需連接網(wǎng)路，當(dāng)模型訓(xùn)練完后，燒錄制GAPuino內(nèi)即可運作。

卷積神經(jīng)網(wǎng)路（Convolutional Neural Network， CNN）是一種前饋神經(jīng)網(wǎng)路，一直是深度學(xué)習(xí)中最重要的一部分，CNN 在影像辨識中甚至可以超越人類辨識的精準(zhǔn)度，許多影樣辨識的模型也都是以CNN的架構(gòu)為基礎(chǔ)去做延伸。

SSD（Single Shot MultiBox Detector）其中Single shot表示SSD算法屬于one-stage方法，MultiBox表示SSD是多框預(yù)測。將邊界框的輸出空間離散為不同層特征圖上的一組不同尺寸和長寬比的默認(rèn)框，其主要為在圖片的不同位置進(jìn)行密集抽樣，抽樣時可以采用不同尺度和長寬比，適用于處理多種尺寸的對象。

四、場景應(yīng)用1

智能門鎖，程式內(nèi)部流程請查看方案方塊圖， GAPuino透過CPI取得PixArt PAJ6100U6圖像資料后，經(jīng)由內(nèi)部CNN計算輸出結(jié)果，再根據(jù)CNN結(jié)果輸入至SSD取得臉型框的座標(biāo)，過濾框座標(biāo)大小，若框座標(biāo)過小則代表為誤判區(qū)需要做移除，進(jìn)行過濾后才是最終結(jié)果，如果臉型座標(biāo)列表長度不為0則能夠開啟門鎖，反之則回到PixArt PAJ6100U6進(jìn)行下一次的循環(huán)，下方為部分程式碼。

GAPuino搭配PixArt PAJ6100U6攝像頭，應(yīng)用臉部辨識功能，配置于智能門鎖上，當(dāng)判別為臉型時，門鎖系統(tǒng)可以判斷是否開門，當(dāng)距離攝像頭1.4米時，發(fā)現(xiàn)照片內(nèi)有臉型就進(jìn)行開門，下圖為顯示結(jié)果，藍(lán)色方匡為辨識區(qū)域，辨識到臉型后右上方顯紅色區(qū)塊。

智能門鎖整體搭配GAPuino與PixArt PAJ6100U6攝像頭，門鎖整體方案于（基于Qualcomm QCA4024 的雙模全自動智能門鎖Turnkey 方案）將控制線對接至GAPuino開發(fā)板上，透過GAPuino做判斷是否開門，目前專案為當(dāng)發(fā)現(xiàn)臉型時驅(qū)動門鎖開門，整體圖片如產(chǎn)品應(yīng)用圖所示。

五、場景應(yīng)用2

貓/狗臉辨識智能喂食器，將TFlite模型抽換為狗或貓模型，并針對模型進(jìn)行程式碼調(diào)整，當(dāng)辨識到貓或狗才開啟食物閘門，保持飼料新鮮不受潮。

參考資料

PixArt PAJ6100U6

GreenWaves Technologies.

基于Qualcomm QCA4024 的雙模全自動智能門鎖Turnkey 方案

卷積神經(jīng)網(wǎng)路- 維基百科

目標(biāo)檢測|SSD原理與實現(xiàn)- 知乎
編輯：hfy