一個極具前景的物聯(lián)網(wǎng)人工智能 (AI) 視覺技術(shù)應(yīng)用——通過采集店內(nèi)消費(fèi)者的數(shù)據(jù),幫助零售商利用這些視頻數(shù)據(jù),更快速、更高效地優(yōu)化產(chǎn)品陳列、布局動線和客戶體驗。
但同時也面臨著兩個主要挑戰(zhàn):成本和復(fù)雜性。假設(shè)一家大型超市想要采集客流量、消費(fèi)者購買記錄及其它數(shù)據(jù),則需要在店內(nèi)安裝大約 15,000 個攝像頭。對于每秒 30 幀的 4K 視頻,15,000 個攝像頭每秒將產(chǎn)生 225 GB 的數(shù)據(jù)。
相較于其它形式的數(shù)據(jù),視頻的數(shù)據(jù)量十分龐大,處理流程也相當(dāng)復(fù)雜,包括圖像識別、物體檢測和場景分析。這些 AI 視覺任務(wù)需要先進(jìn)的算法和模型支持,這讓計算變得更為復(fù)雜。此外,這類大數(shù)據(jù)需要傳送回云端進(jìn)行高效計算,再發(fā)送回來,以便進(jìn)行決策判斷。顯然,每秒 225 GB 的數(shù)據(jù)并不具有經(jīng)濟(jì)性。
但現(xiàn)在早已不是 2018 年了。在過去五年中,上述的場景發(fā)生了巨大的變化?,F(xiàn)在,結(jié)合 AI 與機(jī)器學(xué)習(xí) (ML)[1],經(jīng)過不斷提升后的邊緣處理能力可實現(xiàn)更高的效率,意味著許多極具前景的視覺應(yīng)用在以往所面臨的巨大經(jīng)濟(jì)性障礙正在被逐步掃除。
釋放邊緣 AI 視覺的創(chuàng)新力
此前,很多關(guān)鍵性技術(shù)都各自為政,幾乎很難或根本不可能與其它重要組件相互集成,以實現(xiàn)一個無縫創(chuàng)新的生態(tài)系統(tǒng)。在同質(zhì)處理的環(huán)境中,人們用一個解決方案來滿足所有的需求,但這對于不同的視覺工作負(fù)載提供定制化解決方案的實現(xiàn),是極其困難的。那現(xiàn)如今有什么不同呢?
工程師和開發(fā)者們已攻克了成本、復(fù)雜性及其它一些難題。以復(fù)雜性這一挑戰(zhàn)為例。降低視覺解決方案的成本和復(fù)雜性的途徑之一是,為開發(fā)者在邊緣解決方案(異構(gòu)計算)的實施過程中提供更高的靈活性。
芯片設(shè)計公司正在生產(chǎn)性能更加強(qiáng)大的處理器,帶來了更高計算性能的同時維持高能效表現(xiàn)。這些處理器包括 CPU、GPU、ISP 和加速器,能夠在一些資源受限的環(huán)境下處理 AI 和 ML 等復(fù)雜任務(wù)。此外,通過 AI 加速器,無論是作為 SoC 內(nèi)核,還是作為獨立的 SoC,均能夠在邊緣高效地執(zhí)行 AI 算法。
解決復(fù)雜性
談到復(fù)雜性方面的問題。2022 年,Arm 推出了 ArmMali-C55,這是 Arm 迄今推出的最小芯片面積下,可實現(xiàn)高性能表現(xiàn)的圖像信號處理器 (ISP)。該處理器集高圖像質(zhì)量、高吞吐量、高能效和芯片面積優(yōu)勢于一體,適合端點 AI、智能家居攝像頭、AR/VR 和智能顯示屏等應(yīng)用。該處理器的吞吐量高達(dá) 1.2Gpix/sec (每秒 12 億像素),可帶來更高的性能表現(xiàn),是嚴(yán)苛的視覺處理任務(wù)的理想之選。在向異構(gòu)計算推進(jìn)過程中,Mali-C55 的設(shè)計用途之一便是搭配 Cortex-A 或 Cortex-M CPU,無縫集成到 SoC 設(shè)計中。
這一點非常關(guān)鍵,因為在 SoC 中,ISP 的輸出通常被直接發(fā)送至 ML 加速器中,以便通過神經(jīng)網(wǎng)絡(luò)或類似算法做進(jìn)一步的處理。這涉及到為 ML 模型提供縮放圖像,以處理諸如物體檢測和姿態(tài)估計等任務(wù)。
這種協(xié)同作用反過來又催生了具備 ML 功能的攝像頭和“軟件定義攝像頭”的概念,使 OEM 廠商和服務(wù)提供商能夠在全球范圍內(nèi)部署攝像頭,并提供具備動態(tài)功能增強(qiáng)的迭代功能和商業(yè)模式。
舉個例子,假設(shè)在一個停車場,每個車位上方都安裝了攝像頭,用于判斷該車位是否泊車。在 2018 年,這是種不錯的解決方案,駛?cè)胪\噲龅鸟{駛員能夠一眼看到哪里有空余車位。但在 2023 年,這種解決方案已不具經(jīng)濟(jì)性。利用邊緣 AI 的概念,僅在每一層的出入口放置一到兩個攝像頭,利用 AI 算法算出剩余空車位,這樣的方案才符合 2023 年的思維模式。
再次回到大型超市的場景:15,000 個攝像頭每秒產(chǎn)生 225 GB 的數(shù)據(jù)。現(xiàn)在你應(yīng)該知道如何提供解決方案了吧?
亞馬遜早已意識到這一問題,在其最新版本的 “Just Walk Out” 商店技術(shù)中,攝像頭模塊的計算能力已得到提升。將 AI 部署在邊緣側(cè),以實現(xiàn)更高效、更快速的計算。
借助這樣強(qiáng)大且經(jīng)濟(jì)高效的視覺技術(shù),超市零售商或許可以通過分析店內(nèi)攝像頭記錄下的視頻數(shù)據(jù),進(jìn)行分析、得到結(jié)論,舉例來說,大多數(shù)顧客會在上午 9 點至 11 點之間購買橙子,繼而確定在每天中午前后需要補(bǔ)充貨架上的橙子。通過進(jìn)一步分析,零售商發(fā)現(xiàn)很多顧客(出于隱私原因而在視頻數(shù)據(jù)中匿名)在同一次購物期間還會購買花生。由此,可以根據(jù)這些反饋對商品的陳列進(jìn)行調(diào)整。
適當(dāng)?shù)奈恢?,?zhǔn)確的計算
將適當(dāng)?shù)倪吘?AI 計算[2]部署在更靠近傳感器的位置,能減少延遲性,提高安全性并降低成本,還可以催生新的業(yè)務(wù)模式。
視頻監(jiān)控即服務(wù) (VSaaS)[3] 便是由此誕生的一種業(yè)務(wù)模式。VSaaS 包含視頻錄制、存儲、遠(yuǎn)程管理及網(wǎng)絡(luò)安全的配置,將本地攝像頭與云端的視頻管理系統(tǒng)相結(jié)合。根據(jù) Transparency Market Research[4] 預(yù)測,截至 2027 年,VSaaS 市場規(guī)模將達(dá)到 1,320 億美元。
然而,從更廣泛的角度來看,許多蘊(yùn)含巨大機(jī)遇仍尚未爆發(fā)。受限于經(jīng)濟(jì)、處理能力的限制或純粹的復(fù)雜性等因素,許多強(qiáng)大的潛在應(yīng)用仍在等待迎風(fēng)而上。比如:
智慧城市:在智慧城市領(lǐng)域,通過視頻分析實現(xiàn)交通管理、人流分析和停車空間優(yōu)化,由此產(chǎn)生海量數(shù)據(jù)。
工業(yè)自動化:質(zhì)量控制、缺陷檢測和流程優(yōu)化。
自動駕駛汽車:自動駕駛汽車(比如自動駕駛汽車和無人機(jī))上的傳感器和攝像頭,為導(dǎo)航和安全系統(tǒng)采集數(shù)據(jù),實時感知周圍情況。
虛擬現(xiàn)實 (VR) 和增強(qiáng)現(xiàn)實 (AR):沉浸式 VR 和 AR 體驗需要實時渲染和處理高分辨率視覺內(nèi)容,因此會生成大量數(shù)據(jù)。
走在前沿的實踐者不會作壁上觀。在韓國平澤市,該市的政府計劃利用 AI 和自動駕駛等智慧城市技術(shù)構(gòu)建試點平臺,并將于 2025 年完成,之后計劃逐步在全市進(jìn)行普及。
這座擁有五十萬人口的城市正努力應(yīng)對交通擁堵和交通事故導(dǎo)致的行人意外死亡問題。作為全市“智慧城市”改革的一部分,專家們在視覺設(shè)備中部署了 Arm 合作伙伴 Nota.ai 的 Nespresso 平臺[5],這是一種 AI 模型自動壓縮解決方案,有助于打造智能交通系統(tǒng)。
在設(shè)備方面,諸多巧妙的設(shè)計正在助力客戶實現(xiàn)視覺愿景。例如奇景光電 (Himax) 的 WiseEye-II,這是一款智能影像感測方案,可部署在一系列由電池驅(qū)動的消費(fèi)類和家庭安防應(yīng)用中,包括筆記本電腦、門鈴、門鎖、攝像頭和智能辦公室。該解決方案與 Arm 微控制器和神經(jīng)處理器內(nèi)核相結(jié)合,使機(jī)器視覺 AI 更深入地融合到消費(fèi)類和智能家居設(shè)備中。
得益于邊緣 AI 技術(shù)取得的驚人進(jìn)步,當(dāng)下正在開發(fā)的示例和為未來創(chuàng)新所做的設(shè)計正逐步成為現(xiàn)實。而在視覺領(lǐng)域,這些技術(shù)正在基于 Arm 架構(gòu)而構(gòu)建。
除了硬件,Arm 還通過軟件庫、互聯(lián)標(biāo)準(zhǔn)、安全框架和 Arm 虛擬硬件等開發(fā)工具,幫助開發(fā)者更快速、更高效地開發(fā)圖像解決方案,開發(fā)者無需等待硬件就緒,便可在目標(biāo)架構(gòu)上對其應(yīng)用進(jìn)行虛擬化運(yùn)行。
過去,人們曾希望利用視覺技術(shù)改變世界,挖掘未曾被開發(fā)的大量數(shù)據(jù),但由于成本和復(fù)雜性,這一夢想被認(rèn)為遙不可及。但現(xiàn)在,它們已成為現(xiàn)實。
-
自動駕駛
+關(guān)注
關(guān)注
781文章
13449瀏覽量
165259 -
ai技術(shù)
+關(guān)注
關(guān)注
1文章
1243瀏覽量
24003 -
邊緣AI
+關(guān)注
關(guān)注
0文章
74瀏覽量
4856
原文標(biāo)題:大咖觀點 | 視覺的未來:邊緣 AI 為數(shù)據(jù)密集型應(yīng)用掃除障礙
文章出處:【微信號:Arm社區(qū),微信公眾號:Arm社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論