詳解NPU如何實(shí)現(xiàn)邊緣端本地AI/ML應(yīng)用

［導(dǎo)讀］“新的i.MX系列應(yīng)用處理器的進(jìn)步是增加了EdgeLock來增強(qiáng)Secure，通過Energy Flex來增強(qiáng)能效比；增加Arm的NPU增加本地的算力；Azure增加云端能力。”

近年來在邊緣端的算力需求的提升是一個趨勢， 所以MCU廠商的新品的主頻都已經(jīng)向上到了GHz級別，用上了多核的架構(gòu)；而應(yīng)用處理器廠商也向下探，推出更易用的跨界應(yīng)用處理器，例如NXP的i.MX RT系列。現(xiàn)在新的趨勢是將人工智能（AI）和機(jī)器學(xué)習(xí)（ML）的細(xì)分應(yīng)用下沉到邊緣端，實(shí)現(xiàn)更加智能的邊緣端應(yīng)用。這種AI和ML在邊緣端的部署，對于處理器的性能、功耗、連接性和安全性都提出了更高的要求。為了響應(yīng)這些新的設(shè)計需求，NXP宣布其EdgeVerse?產(chǎn)品系列新增了跨界應(yīng)用處理器，包括i.MX 8ULP、經(jīng)Microsoft Azure Sphere認(rèn)證的i.MX 8ULP-CS（云安全）系列和新一代高性能智能應(yīng)用處理器i.MX 9系列。在i.MX應(yīng)用處理器媒體溝通會上，恩智浦大中華區(qū)工業(yè)與物聯(lián)網(wǎng)市場高級總監(jiān)金宇杰，恩智浦邊緣處理事業(yè)部軟件研發(fā)總監(jiān)翁鐵成和恩智浦邊緣處理事業(yè)部系統(tǒng)工程總監(jiān)王朋朋進(jìn)行了精彩的分享。

實(shí)現(xiàn)安全和能效提升：EdgeLock和ENERGY FLEX

在最新的i.MX 8ULP、i.MX 8ULP-CS和i.MX 9系列跨界應(yīng)用處理器中，我們可以看到EdgeLock?安全區(qū)域和ENERGY FLEX架構(gòu)的出現(xiàn)。從名稱上我們就可以看出，EdgeLock?安全區(qū)域主要是確保邊緣設(shè)備的安全性，而Energy Flex架構(gòu)提供了多種不同的功耗管理模式。

據(jù)翁鐵成先生介紹，安全正是NXP非常重要的標(biāo)志技術(shù)之一，EdgeLock涵蓋了密鑰管理、信任根處理、各種豐富的加解密處理，設(shè)備范圍的安全智能也包含其中。安全策略啟動和信任根方面是使用了EdgeLock2Go的技術(shù)，該技術(shù)的信任根包含在EdgeLock里面，可以通過信任根與EdgeLock的云服務(wù)做交互，保證其實(shí)現(xiàn)安全的認(rèn)證。例如NXP可以將AZURE SPHERE的信任根結(jié)合到Edge Lock中，這樣開發(fā)者也可以享用到AZURE SPHERE提供的安全的云服務(wù)。

針對異構(gòu)的i.MX應(yīng)用處理器，NXP還提供了全新的Energy Flex技術(shù)。Cortex-A35的核本身就具備高效和節(jié)能的特點(diǎn)， Cortex-M33作為實(shí)時處理的核也具備低功耗的特質(zhì)。再將GPU、DSP加入處理器內(nèi)，基于Energy Flex技術(shù)可以將一個應(yīng)用處理器配置出大約20多種不同的能耗配置，針對不同的工作負(fù)載提供更為細(xì)致的功耗配置和響應(yīng)，從而降低最終應(yīng)用的整體功耗。

在domain間進(jìn)行不同工作負(fù)載的轉(zhuǎn)換時，其實(shí)也會存在受到旁路攻擊的風(fēng)險，而EdgeLock也具備一個獨(dú)特的“功率感知”的能力，可以智能地跟蹤功率轉(zhuǎn)換，采取一些干擾措施來增強(qiáng)抵抗和阻止新興的攻擊面。

通過NPU實(shí)現(xiàn)邊緣端本地AI/ML應(yīng)用

對于做嵌入式開發(fā)、進(jìn)行邊緣端設(shè)計的工程師而言，學(xué)習(xí)完整的AI和ML的算法和應(yīng)用，然后進(jìn)行實(shí)際的本地應(yīng)用部署，這是一件非常費(fèi)時費(fèi)力的事情。這也是當(dāng)前嵌入式工程師在進(jìn)行邊緣端的AI/ML應(yīng)用開發(fā)時面臨的難題。而NXP也積極地通過戰(zhàn)略投資、生態(tài)合作的一系列舉措來推動邊緣人工智能的新浪潮，從而在一系列嵌入式設(shè)備中構(gòu)建經(jīng)濟(jì)高效的人工智能解決方案。

據(jù)金宇杰先生分享，NXP的應(yīng)用處理器是希望幫助普通的公司和開發(fā)者也可以進(jìn)入到自己所需的細(xì)分AI領(lǐng)域，實(shí)現(xiàn)輕松的邊緣AI構(gòu)建。多個細(xì)分的模型算法在云端都已經(jīng)慢慢成熟，所以在i.MX平臺就像一個轉(zhuǎn)換器一樣方便，直接從邊緣端拿到數(shù)據(jù)進(jìn)行本地的處理就可以，這個概念叫做BYOD（Bring Your Own Data）。

在硬件層面，NXP通過將Arm Ethos-U65在應(yīng)用處理器中嵌入，積極推進(jìn)microNPU的概念。microNPU可以達(dá)到0.5TOPS的算力，恰好是為了補(bǔ)充i.MX 9的512GOPS和i.MX 8M Plus上2.5 TOPS之間的這個空白，所以整個的產(chǎn)品的布局出來之后，不同的AI算力需求的智能邊緣端都可以找到合適的能耗比的硬件平臺。在軟件層面，NXP 發(fā)布了eIQ機(jī)器學(xué)習(xí)（ML）軟件對Glow神經(jīng)網(wǎng)絡(luò)（NN）編譯器的支持功能，針對恩智浦的i.MX RT跨界MCU，帶來業(yè)界首個實(shí)現(xiàn)以較低存儲器占用提供更高性能的神經(jīng)網(wǎng)絡(luò)編譯器應(yīng)用。

所以i.MX這樣整體的一個硬件和軟件的平臺出來后，對于傳統(tǒng)的嵌入式開發(fā)的設(shè)計者而言 ，可以快速實(shí)現(xiàn)邊緣端AI/ML的部署，將自己的想法借助AI/ML的力量落地。

以前，嵌入式MCU開發(fā)者的一個較為集中的痛點(diǎn)是需要應(yīng)用處理器的高性能，但難以適應(yīng)應(yīng)用處理器的架構(gòu)的變化、學(xué)習(xí)成本較高。NXP用i.MX RT系列跨界應(yīng)用處理器很好的解決了這個痛點(diǎn)，市場也通過訂單給予了NXP積極的肯定?，F(xiàn)在，AI/ML的細(xì)分應(yīng)用在邊緣端部署將會是另一個集中的痛點(diǎn)，能夠幫助設(shè)計者解決這一痛點(diǎn)的平臺，想必也會贏得開發(fā)者的青睞，獲得更多市場份額。
編輯：lyn