AI如何在數(shù)以百億的MCU嵌入式應(yīng)用中落地？

AI如何在數(shù)以百億的MCU嵌入式應(yīng)用中落地？海思正在給出自己的答案。海思A2MCU聚焦行業(yè)專(zhuān)用（Application Specific）和嵌入式AI技術(shù)（Artificial Intelligence），將AI領(lǐng)域超輕量級(jí)的技術(shù)框架、極致性能的推理要求、方便快速的部署能力與MCU深度融合，為MCU行業(yè)客戶探索智能化應(yīng)用提供新的選擇。在TCL小藍(lán)翼P7新風(fēng)空調(diào)發(fā)布會(huì)上，海思與TCL空調(diào)聯(lián)合發(fā)布“A2MCU，讓空調(diào)越用越節(jié)能”解決方案，正是A2MCU的初露鋒芒。

為什么嵌入式AI關(guān)注度越來(lái)越高？

嵌入式AI是將AI算法嵌入到端側(cè)設(shè)備中，使得設(shè)備能夠具備智能化、自動(dòng)化和高效化的能力。AI的歷史可以追溯到20世紀(jì)50年代，進(jìn)入21世紀(jì)，受益于算力的迅猛提升，以及大數(shù)據(jù)、云計(jì)算、深度學(xué)習(xí)等技術(shù)發(fā)展，人工智能在圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理、機(jī)器人、自動(dòng)駕駛等領(lǐng)域取得了突破性的進(jìn)展。隨著應(yīng)用的拓展和滲透，端側(cè)AI近幾年逐漸成為業(yè)界熱點(diǎn)。相對(duì)于數(shù)百萬(wàn)到千萬(wàn)的AI服務(wù)器，端側(cè)AI MCU的數(shù)量級(jí)將高達(dá)數(shù)以百億。基于現(xiàn)有的AI范式，由于資源的限制、模型的適應(yīng)性等因素，AI越向下越難做，但同時(shí)AI下沉帶來(lái)的商業(yè)潛力也很大。因此將AI技術(shù)嵌入到端側(cè)最底層的MCU芯片，已成為業(yè)界領(lǐng)先MCU企業(yè)都在探索的新方向。

基于MCU的AI方案在行業(yè)落地，會(huì)有哪些困難？

由于MCU硬件性能限制、AI軟件的復(fù)雜度高、行業(yè)應(yīng)用實(shí)時(shí)性要求高、能耗限制嚴(yán)格、數(shù)據(jù)安全性要求高，嵌入式AI在MCU的行業(yè)應(yīng)用落地需要業(yè)務(wù)團(tuán)隊(duì)同時(shí)具備豐富的AI知識(shí)經(jīng)驗(yàn)，以及嵌入式軟硬件能力。

一方面要開(kāi)發(fā)團(tuán)隊(duì)與落地場(chǎng)景之間要展開(kāi)深度合作。基于真實(shí)場(chǎng)景的基礎(chǔ)數(shù)據(jù)及嵌入式AI團(tuán)隊(duì)提供的專(zhuān)業(yè)的定制化方案，才能真正解決問(wèn)題，做出價(jià)值。

另一方面要能夠?qū)崿F(xiàn)AI模型到MCU的快速部署。通用AI模型往往并不是針對(duì)嵌入式應(yīng)用設(shè)計(jì)，AI開(kāi)發(fā)工具品類(lèi)又非常龐雜，而MCU的RAM、Flash資源及CPU算力通常都非常受限，如何選擇合適的AI模型和開(kāi)發(fā)工具用來(lái)開(kāi)發(fā)出解決特定場(chǎng)景問(wèn)題模型，又如何將AI模型部署到受限資源的MCU上，這是一個(gè)復(fù)雜的工程。

海思A2MCU嵌入式AI通過(guò)哪些關(guān)鍵技術(shù)解決了這些問(wèn)題？

海思嵌入式AI提供了超輕量級(jí)的AI技術(shù)框架、極致性能完全滿足MCU的推理要求、并能夠?qū)⒍嗄Ｐ涂焖俎D(zhuǎn)換為代碼并導(dǎo)入工程，開(kāi)發(fā)者進(jìn)行方便快速的產(chǎn)品部署。

1）極簡(jiǎn)框架：在MCU上部署的AI模型，轉(zhuǎn)為網(wǎng)絡(luò)層的運(yùn)行代碼后，直接調(diào)用RISC-V核的優(yōu)化算子庫(kù)，省去了模型解析器等一般復(fù)雜的框架。RISC-V的開(kāi)源架構(gòu)支持自定義指令集，能夠更好的支持算子庫(kù)的優(yōu)化實(shí)現(xiàn)，這也是RISC-V相對(duì)于其他內(nèi)核的一個(gè)關(guān)鍵優(yōu)勢(shì)。

2）極致性能：意味著在確保場(chǎng)景收益的前提下，將訓(xùn)練推理過(guò)程做到極簡(jiǎn)。包括但不限于：訓(xùn)練模型優(yōu)化：包括模型結(jié)構(gòu)優(yōu)化，減少內(nèi)存讀寫(xiě)和計(jì)算量；模型訓(xùn)練后量化，使模型更小，推理更快。算子的輕量化、內(nèi)存優(yōu)化以及深度性能調(diào)優(yōu)：通過(guò)算子庫(kù)輕量化、算子數(shù)據(jù)預(yù)重排與內(nèi)存復(fù)用、使用算法減少乘法運(yùn)算次數(shù)與內(nèi)存訪問(wèn)的開(kāi)銷(xiāo)、深度算法調(diào)優(yōu)減少運(yùn)算次數(shù)，與訪存開(kāi)銷(xiāo)進(jìn)行平衡。

模型剪枝、壓縮的輕量化

訓(xùn)練后量化，模型更小，推理更快

3）易開(kāi)發(fā)部署：海思A2MCU嵌入式AI方案可提供多種模型的轉(zhuǎn)換，例如通過(guò)TensorFlow Lite、PyTorch、MindSpore等開(kāi)發(fā)的模型，可快速便捷的轉(zhuǎn)成代碼，并導(dǎo)入部署到工程代碼中。

海思A2MCU嵌入式AI應(yīng)用效果如何？

12月10日，在TCL小藍(lán)翼P7新風(fēng)空調(diào)發(fā)布會(huì)上，海思與TCL空調(diào)聯(lián)合發(fā)布了“A2MCU，讓空調(diào)越用越節(jié)能”解決方案，該方案基于空調(diào)環(huán)境、運(yùn)行和目標(biāo)參數(shù)，通過(guò)嵌入式AI算法對(duì)復(fù)雜工況進(jìn)行學(xué)習(xí)，提高運(yùn)行周期內(nèi)的整體能效。通過(guò)業(yè)務(wù)場(chǎng)景和AI強(qiáng)化學(xué)習(xí)模型的深度融合，給空調(diào)產(chǎn)品的節(jié)能帶來(lái)代級(jí)的差異化競(jìng)爭(zhēng)力，最終達(dá)成調(diào)溫階段能耗降低16%的效果。

結(jié)語(yǔ)

萬(wàn)物智能時(shí)代，我們既需要云端大算力的訓(xùn)練推理，也離不開(kāi)嵌入式AI在千行百業(yè)的端側(cè)普惠應(yīng)用。相對(duì)而言AI服務(wù)器的體量是百萬(wàn)~千萬(wàn)數(shù)量級(jí)，而小算力的MCU則是數(shù)百億數(shù)量級(jí)，嵌入式AI在綠色節(jié)能、人機(jī)交互、故障預(yù)測(cè)、安全防護(hù)等行業(yè)顯示出巨大的潛力。

在嵌入式AI技術(shù)中，AI和MCU的關(guān)系是相互促進(jìn)、共同發(fā)展的，而嵌入式AI的難度也恰恰來(lái)自AI與MCU兩個(gè)技術(shù)分方向的跨界與結(jié)合。海思在AI和MCU領(lǐng)域都有近十年的積累和豐富應(yīng)用經(jīng)驗(yàn)，致力于將以往經(jīng)驗(yàn)和技術(shù)積累應(yīng)用于小算力AI場(chǎng)景，和行業(yè)伙伴一起聯(lián)合創(chuàng)新、創(chuàng)造增量?jī)r(jià)值。

審核編輯：劉清