如何提供超低功耗 ML 以實(shí)現(xiàn)更有效的嵌入式視覺

機(jī)器學(xué)習(xí)算法開辟了一個(gè)可能性領(lǐng)域，可以將視覺嵌入到產(chǎn)品中，使我們的家庭、工作空間以及介于兩者之間的地方更安全、更高效。為了在更多用例中真正發(fā)揮智能視覺的潛力，開發(fā)人員需要更節(jié)能、更靈活的嵌入式解決方案，這些解決方案可以依靠電池供電，易于安裝和維護(hù)，同時(shí)仍能提供提供有效和智能所需的視覺性能感知我們想要檢測和監(jiān)控的事物。ML 建模和處理的新進(jìn)展是智能相機(jī)廣泛采用的關(guān)鍵。

負(fù)擔(dān)得起的遠(yuǎn)程視覺監(jiān)控過去意味著紅外運(yùn)動(dòng)檢測器：便宜、自主，但不一定有效。我的一個(gè)朋友最近用一套聯(lián)網(wǎng)的攝像機(jī)保護(hù)了他的后院。攝像頭使用紅外運(yùn)動(dòng)檢測喚醒，然后將視頻發(fā)送到應(yīng)用程序。

問題是，他后院的運(yùn)動(dòng)檢測意味著檢測從鄰居松鼠到微風(fēng)中吹來的風(fēng)鈴等一切事物。他的視頻剪輯太多了，以至于他可以理解地忽略了它們——包括有一天，一個(gè)竊賊從后院闖入他的房子。

直到最近，另一種選擇是將視頻輸入控制室，如果發(fā)生重要事情，您可能希望人類觀察者會(huì)在屏幕上注意到。這種方法提供了更多的保護(hù)，但費(fèi)用和能源消耗要大得多。我們確實(shí)需要介于兩者之間的東西：便宜、電池供電，但比簡單的運(yùn)動(dòng)檢測更具辨別力。理想情況下，該系統(tǒng)將具有足夠的嵌入式智能，首先將事件確定為“真實(shí)事件”，然后再喚醒功能更強(qiáng)大的攝像頭，該攝像頭在向應(yīng)用程序發(fā)送通知后記錄和流式傳輸高分辨率視頻。

今天，機(jī)器學(xué)習(xí)技術(shù)的巨大進(jìn)步極大地改進(jìn)了無人值守的視頻分析?，F(xiàn)在，帶有高性能深度學(xué)習(xí)推理加速器芯片或與云數(shù)據(jù)中心的寬帶連接的高清攝像頭可以顯著增強(qiáng)和改進(jìn)傳統(tǒng)的安全和監(jiān)控方法。事實(shí)上，這樣的深度學(xué)習(xí)系統(tǒng)已經(jīng)展示了非凡的能力：面部識(shí)別、手勢解釋——例如，檢測入店行竊——甚至情緒估計(jì)——甚至檢測入店行竊的誘惑。或許這些能力已經(jīng)變得有點(diǎn)太了不起了。

但這些系統(tǒng)仍然很昂貴。它們需要外部電源和寬帶連接。而且由于它們的能力如此之強(qiáng)，它們會(huì)引發(fā)安全和隱私問題，這可能會(huì)限制它們的部署或增加監(jiān)管障礙。

天平的另一端，回到那個(gè)不起眼的紅外運(yùn)動(dòng)傳感器呢？仍然有許多應(yīng)用程序只檢測一個(gè)人的存在——而不識(shí)別他們或估計(jì)他們的心理特征——就足夠了。其中許多應(yīng)用程序需要外部電源的自主權(quán)，并且只能提供有限的連接回網(wǎng)絡(luò)。許多需要非常低的成本。他們呢？

最近在超低功耗機(jī)器學(xué)習(xí)加速方面取得的重大進(jìn)展現(xiàn)在可以回答這個(gè)問題。

可能受益的應(yīng)用程序類型

要在上下文中理解這一突破，讓我們仔細(xì)看看一些用例。例如，在許多安全和安保應(yīng)用中，重要的是要知道您正在監(jiān)控的區(qū)域是否有人在場。這可能是為了檢測入侵者，確保沒有人靠近危險(xiǎn)設(shè)備，或者只是打開一些燈以避免有人在黑暗的房間里絆倒。你并不真正關(guān)心這個(gè)人是誰，但你也不會(huì)對(duì)松鼠和管狀鈴鐺的誤報(bào)感興趣，比如那些在我朋友后院引發(fā)警報(bào)的東西。

事實(shí)證明，這對(duì)于機(jī)器學(xué)習(xí)來說是一個(gè)很好的應(yīng)用——事實(shí)上，對(duì)于一個(gè)非常簡單的機(jī)器學(xué)習(xí)模型來說。在這種情況下，模型是一組數(shù)據(jù)和指令，通過一個(gè)稱為訓(xùn)練的過程運(yùn)行大量數(shù)據(jù)而建立，機(jī)器學(xué)習(xí)系統(tǒng)使用這些數(shù)據(jù)和指令來生成推理——例如，是的，有人的推理在圖像中，或者沒有，圖像中的人物是老板的金毛獵犬。

大流行創(chuàng)造了另一類應(yīng)用程序，不幸的是，這些應(yīng)用程序可能會(huì)伴隨我們一段時(shí)間：社交距離監(jiān)控?？刂七M(jìn)入封閉空間以確保人員不超過容量限制至關(guān)重要。要做到這一點(diǎn)，最好的方法是在門口沒有人工看守的情況下，是一個(gè)可以在人員進(jìn)出時(shí)統(tǒng)計(jì)人數(shù)的系統(tǒng)。是的，這只是人員檢測的另一種用途。這種系統(tǒng)的一個(gè)附加功能是檢測相關(guān)人員是否戴著口罩。對(duì)于經(jīng)過訓(xùn)練的機(jī)器學(xué)習(xí)模型來說，這也是一項(xiàng)相對(duì)簡單的任務(wù)。

事實(shí)證明，有一個(gè)完全不同的應(yīng)用領(lǐng)域密切相關(guān)。組織已經(jīng)更加關(guān)注他們在辦公空間上的花費(fèi)，并根據(jù)空間的使用方式來決定如何最好地優(yōu)化空間。當(dāng)辦公室經(jīng)理考慮使用更?。ㄇ腋阋耍┣彝ǔＪ枪蚕淼墓ぷ骺臻g時(shí)尤其如此。但是你無法優(yōu)化你無法衡量的東西。突然，有許多新的問題。有人用這個(gè)走廊嗎？咖啡廳什么時(shí)候忙？有多少個(gè)熱桌可用？三個(gè)會(huì)議室都被占用多久？此類數(shù)據(jù)對(duì)于在不降低生產(chǎn)力的情況下最大限度地減少辦公費(fèi)用至關(guān)重要。同樣，您無需識(shí)別人員或了解他們在做什么。您只想能夠檢測到它們的存在。

讓我們看一下當(dāng)今大多數(shù)公司所考慮的典型現(xiàn)實(shí)情況：一家公司在曼哈頓或舊金山市中心等昂貴的市中心地區(qū)的高層建筑中設(shè)有辦公室。他們有四十個(gè)隔間和五個(gè)會(huì)議室。隔間被占用了工作周的至少一部分。根據(jù)高架攝像頭的人員檢測/計(jì)數(shù)輸入，只有三個(gè)會(huì)議室的使用率比其他兩個(gè)多得多?，F(xiàn)在，當(dāng)公司擴(kuò)大規(guī)模，需要再雇用 20 人時(shí)，他們可以分析隔間和會(huì)議室的實(shí)際使用情況，而不是在同一棟大樓中租用另一層樓以支付高額租金。解決方案可能是將其中一個(gè)未使用的會(huì)議室改造成額外的 20 個(gè)隔間，或者提出一種靈活的混合模型，在人們需要時(shí)為他們提供工作空間，并最大限度地利用現(xiàn)有隔間。這將導(dǎo)致巨大的成本運(yùn)營支出節(jié)省，并且可以隨著容量和勞動(dòng)力習(xí)慣的變化而調(diào)整。

檢測特定屬性

這帶來了另一類應(yīng)用程序：合規(guī)性檢查。可以訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)來檢測人的可見屬性。此人是否有可見的 ID 徽章？安全帽或呼吸器怎么樣？該人是否將點(diǎn)燃的香煙帶入易爆氣體泄漏的房間？

經(jīng)驗(yàn)表明，機(jī)器學(xué)習(xí)模型可以比舊式視覺處理軟件算法更好地執(zhí)行這類檢測任務(wù)。機(jī)器學(xué)習(xí)模型也可以比人類監(jiān)視器更準(zhǔn)確和可靠，尤其是在需要長時(shí)間持續(xù)關(guān)注的情況下。當(dāng)任務(wù)是檢測時(shí)——不是識(shí)別個(gè)人、解釋手勢或其他需要基于大量精細(xì)細(xì)節(jié)進(jìn)行細(xì)微推斷的任務(wù)——模型可以非常緊湊。

如果模型緊湊，并且如果視頻數(shù)據(jù)以適中的速率進(jìn)入而不是以 60Hz 的頻率涌入，例如逐行掃描 UHD，那么所需的處理能力也可能適中。它需要的不僅僅是一個(gè)典型的微控制器芯片所能提供的，但遠(yuǎn)遠(yuǎn)低于你從為高性能計(jì)算設(shè)計(jì)的推理加速器或從耗電量大的 GPU 中獲得的東西。

這將是應(yīng)用近年來為超低功耗計(jì)算開發(fā)的技術(shù)的理想場所：存儲(chǔ)器、控制器和信號(hào)處理器。這些技術(shù)可以使機(jī)器學(xué)習(xí)推理加速器足夠快地完成視覺檢測任務(wù)，但功耗卻足夠低，可用于無人值守的電池供電操作。

加上恰到好處的速度會(huì)帶來額外的好處。這種設(shè)備有限的速度和內(nèi)存容量使得幾乎不可能將芯片用于未經(jīng)授權(quán)的任務(wù)，例如面部識(shí)別。這一事實(shí)可以大大減輕在對(duì)隱私監(jiān)管敏感的領(lǐng)域部署系統(tǒng)的監(jiān)管負(fù)擔(dān)。

一個(gè)可以提供這個(gè)的例子

事實(shí)上，這樣的超低功耗機(jī)器學(xué)習(xí)加速器已經(jīng)存在：Synaptics 的 Katana KA 10000 SoC。該芯片集成了一組處理器，包括一個(gè) Arm CPU、多個(gè) DSP 內(nèi)核和一個(gè)定制的神經(jīng)網(wǎng)絡(luò)加速器，為一系列不同類型的中等規(guī)模機(jī)器學(xué)習(xí)模型提供完整的推理加速平臺(tái)。

到目前為止，這種描述同樣適用于許多用于高性能計(jì)算的 AI 加速芯片。但是，當(dāng)您的目標(biāo)是數(shù)月的電池壽命而不是每秒數(shù)十次千兆操作時(shí)，您必須從一開始就以不同的方式做事。

這意味著從針對(duì)低功耗而非最高速度優(yōu)化的半導(dǎo)體工藝技術(shù)開始。這意味著設(shè)計(jì)的電路只消耗足夠的功率來完成手頭的任務(wù)，并且在不需要時(shí)關(guān)閉。這意味著選擇處理器架構(gòu)，例如 Arm Cortex-M33 CPU、DSP 內(nèi)核和專有的神經(jīng)處理單元，它們可以協(xié)作以盡可能少的電池消耗而不是盡可能少的時(shí)間延遲來完成給定的推理。它還意味著為攝像頭和麥克風(fēng)提供片上、低功耗存儲(chǔ)器和外圍接口。

對(duì)于將在現(xiàn)場使用的 SoC，處理敏感的個(gè)人數(shù)據(jù)，安全性也是首要考慮的問題。密鑰的安全存儲(chǔ)、安全啟動(dòng)和代碼更新以及硬件輔助加密都是必須在硬件級(jí)別解決的問題。

在實(shí)踐中可以期待什么結(jié)果？

那么，專注于超低功耗的成功程度如何？Synaptics 聲稱 KA10000 可以處理傳入的視頻并每秒產(chǎn)生 10 次推理，同時(shí)使用一塊電池運(yùn)行近三年。

對(duì)于非專業(yè)軟件開發(fā)人員來說，所有這些任務(wù)都可能令人生畏。該過程可能需要 6 到 9 個(gè)月——如果出現(xiàn)任何問題，甚至更長時(shí)間——因此部署邊緣 AI 設(shè)備可能會(huì)是一項(xiàng)耗時(shí)的工作，將時(shí)間表、預(yù)算甚至市場窗口都置于風(fēng)險(xiǎn)之中。

成功需要硬件、軟件和 IP 提供商的協(xié)作生態(tài)系統(tǒng)。例如，Synaptics 通過與 Edge Impulse 等 MLOps 公司的合作，幫助加快了這一進(jìn)程。使用帶有 Synaptics 的 Katana 平臺(tái)的 Edge Impulse 環(huán)境，客戶可以在幾天內(nèi)制作模型原型，并在幾個(gè)月內(nèi)構(gòu)建生產(chǎn)模型。這意味著差異化、超低功耗邊緣人工智能設(shè)備的低風(fēng)險(xiǎn)和快速部署。

芯片行業(yè)首次響應(yīng)了廉價(jià)自主相機(jī)中對(duì)有效和特定用例機(jī)器學(xué)習(xí)的需求?，F(xiàn)在提供的解決方案以極具吸引力的成本和性能點(diǎn)提供綜合但適合普通人的開發(fā)環(huán)境和完整的神經(jīng)網(wǎng)絡(luò)增強(qiáng) SoC 的組合。這開辟了低功率人體檢測和其他視覺檢測能力的前沿，將以多種方式改善我們的生活。

審核編輯 黃昊宇