概述
目前,視覺應(yīng)用在物聯(lián)網(wǎng)發(fā)展領(lǐng)域備受關(guān)注。不論是可視門鈴、會(huì)議室監(jiān)控、家庭安全攝像頭或者是智能零售應(yīng)用,諸多創(chuàng)新型公司紛紛借助人工智能 (AI) 和機(jī)器學(xué)習(xí) (ML) 技術(shù),大力開發(fā)經(jīng)濟(jì)高效的成像解決方案。對(duì)于這一領(lǐng)域的開發(fā)者來說,提高準(zhǔn)確性和效率變得越來越重要。
簡介
Plumerai 總部位于倫敦,專注于在小型嵌入式設(shè)備上高效地執(zhí)行復(fù)雜的 AI 輔助計(jì)算機(jī)視覺任務(wù),諸如人員檢測,包括可識(shí)別熟悉的面孔、車輛和寵物。Plumerai 工程師開發(fā)了一個(gè)實(shí)時(shí)人員檢測應(yīng)用程序,并將其移植到了基于 Arm Cortex-M85 的瑞薩 RA8D1 微控制器 (MCU) 上運(yùn)行,從而利用 Arm Helium 矢量擴(kuò)展技術(shù),加速神經(jīng)網(wǎng)絡(luò),通過少量的系統(tǒng)資源便可實(shí)現(xiàn)每秒 13 幀的高性能。
挑戰(zhàn)
在資源受限的嵌入式設(shè)備上運(yùn)行基于神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)視覺任務(wù)(例如人員檢測)頗具挑戰(zhàn)性。此類應(yīng)用程序需具備高計(jì)算性能和低內(nèi)存占用。
傳統(tǒng)上,微控制器不支持 SIMD (單指令多數(shù)據(jù)) 指令,無法實(shí)現(xiàn)并行處理和性能的提升。引入 Helium 矢量擴(kuò)展(也稱為 Cortex-M 矢量擴(kuò)展技術(shù),MVE)可以有效彌補(bǔ)這一欠缺。
將所有數(shù)據(jù)都保留在設(shè)備端,而不依賴于云連接,以保障用戶隱私性并增強(qiáng)解決方案的安全性。
解決方案
Plumerai 利用 Cortex-M85 上的 Helium 矢量擴(kuò)展來加速其人員檢測神經(jīng)網(wǎng)絡(luò)。
Plumerai 構(gòu)建緊湊型神經(jīng)網(wǎng)絡(luò)的方法涉及到垂直整合,需同時(shí)考慮所有 AI 層。換句話說,他們并不是將數(shù)據(jù)、模型、訓(xùn)練、推理和硬件分開來處理。這種整體方法對(duì)于能效而言至關(guān)重要。
Plumerai 的方法不僅關(guān)注模型架構(gòu),這只是整個(gè)處理過程的一部分,在此基礎(chǔ)上,還要考慮如何將組件與數(shù)據(jù)緊密地聯(lián)系在一起。數(shù)據(jù)對(duì)于小型神經(jīng)網(wǎng)絡(luò)來說至關(guān)重要,因此收集、整理和正確標(biāo)記訓(xùn)練數(shù)據(jù)非常關(guān)鍵。
鑒于 Arm 技術(shù)在市場的應(yīng)用普及性和豐富廣泛的生態(tài)系統(tǒng),Plumerai 選用了 Arm 架構(gòu)。通過在 Cortex-M MCU 上運(yùn)行軟件,Plumerai 實(shí)現(xiàn)了穩(wěn)定的圖像捕捉性能,每秒可捕捉 2-5 幀。當(dāng)采用 Cortex-M85 Helium 擴(kuò)展的高性能 RA8x1 MCU 面向市場時(shí),他們表現(xiàn)出了濃厚的興趣。
Helium 是 Cortex-M 系列處理器的矢量擴(kuò)展,可以為執(zhí)行 AI 和 ML 工作負(fù)載的小型節(jié)能設(shè)備提供增強(qiáng)性能。Helium 包含硬件和軟件優(yōu)化,有助于在 Cortex-M 處理器上更快地執(zhí)行神經(jīng)網(wǎng)絡(luò)模型,使其適用于各種應(yīng)用,包括智能傳感器、物聯(lián)網(wǎng)設(shè)備、可穿戴設(shè)備等
他們借助 Helium 更寬的矢量寄存器和增強(qiáng)型點(diǎn)積 EDP 等新的 SIMD 指令,加速卷積和矩陣乘法等關(guān)鍵神經(jīng)網(wǎng)絡(luò)層。
Plumerai 的優(yōu)化推理引擎在性能最大化方面也發(fā)揮了關(guān)鍵作用。經(jīng)測量,它比在采用 Helium 技術(shù)的微控制器上運(yùn)行 TensorFlow Lite 推理模型的速度快 3.5 倍。得益于 Helium 的加速能力,Plumerai 將人員檢測的工作速度提高了 4 倍;在運(yùn)行速度僅為 480 Mhz 基于 Cortex-M85 的 RA8D1 MCU 上,其性能提升到了 13 幀率 (FPS)。
這不僅提高了成像速度,還提升了準(zhǔn)確率,進(jìn)而為人員統(tǒng)計(jì)等新應(yīng)用帶來了全新可能。此外,它還可降低整體系統(tǒng)功耗:更高的幀速率意味著更快地捕捉和分析幀數(shù)。因此,如果幀中沒有檢測到人員,系統(tǒng)便可以更快地進(jìn)入休眠狀態(tài)。
Plumerai 能夠在配備基于 Cortex-M85 的 RA8D1 MCU 的瑞薩評(píng)估板上實(shí)現(xiàn)這一點(diǎn),且僅需占用 300 KB RAM (隨機(jī)存取存儲(chǔ)器)。對(duì)于較為復(fù)雜的 AI 視覺任務(wù),整個(gè)可執(zhí)行二進(jìn)制文件的大小僅為 1.5 MB。RA8D1 MCU 具備 2MB 閃存、1MB 片上 SRAM 存儲(chǔ)器以及 16 位攝像頭接口,無需任何外部存儲(chǔ)器或其他組件即可打造高質(zhì)量的人員檢測全面解決方案,并且能夠應(yīng)對(duì)遮擋、不同姿勢和照明不佳等棘手情況。除此之外,Plumerai 還能夠?qū)崿F(xiàn)公司的一大關(guān)鍵用戶目標(biāo),即提供隱私友好的解決方案,可以完全在設(shè)備端運(yùn)行,無需云端處理。因此不會(huì)在云端存儲(chǔ)或傳輸任何圖像。
此外,公司還構(gòu)建了自己的優(yōu)化推理引擎和框架,并被 ML Commons 聯(lián)盟評(píng)為全球最快的推理引擎及框架。
結(jié)論
Helium 矢量擴(kuò)展助力 Plumerai 在資源受限的嵌入式設(shè)備上打造高性能計(jì)算機(jī)視覺應(yīng)用。相關(guān)實(shí)現(xiàn)方案既展示了 Helium 的出色能力,也為其他從事嵌入式 AI 工作負(fù)載的開發(fā)者提供了參考模型。
-
微控制器
+關(guān)注
關(guān)注
48文章
7334瀏覽量
150080 -
ARM
+關(guān)注
關(guān)注
134文章
8965瀏覽量
364991 -
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2894文章
43264瀏覽量
366326 -
嵌入式設(shè)備
+關(guān)注
關(guān)注
0文章
109瀏覽量
16903
原文標(biāo)題:案例分享 | Plumerai 借助 Arm Helium 矢量擴(kuò)展在嵌入式設(shè)備上實(shí)現(xiàn)人員檢測
文章出處:【微信號(hào):Arm社區(qū),微信公眾號(hào):Arm社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論