Arm?ML處理器 嵌入式評(píng)估工具包介紹

Arm Ethos-U55是世界上第一款microNPU。這是一種新型的ML處理器，旨在加速嵌入式和物聯(lián)網(wǎng)設(shè)備上的ML推理。

評(píng)估工具包概述

此評(píng)估工具包的目的是允許用戶開發(fā)軟件并測(cè)試Ethos-U NPU和Cortex-M55 CPU的性能。Ethos-U NPU是一種新型機(jī)器學(xué)習(xí)（ML）處理器，專門設(shè)計(jì)用于在受限嵌入式和物聯(lián)網(wǎng)設(shè)備中加速M(fèi)L工作負(fù)載的計(jì)算。該產(chǎn)品經(jīng)過優(yōu)化，可高效執(zhí)行ML算法中常用的數(shù)學(xué)運(yùn)算，如卷積或激活函數(shù)。

ML用例

評(píng)估工具包通過為嵌入式堆棧提供隨時(shí)可用的ML應(yīng)用程序來(lái)增加價(jià)值。因此，您可以試驗(yàn)已經(jīng)開發(fā)的軟件用例，并為Cortex-M CPU和Ethos-U NPU創(chuàng)建自己的應(yīng)用程序。下表列出了可供您使用的示例應(yīng)用程序和使用的模型。

上述用例實(shí)現(xiàn)了端到端的ML流，包括數(shù)據(jù)預(yù)處理和后處理。它們將允許您調(diào)查嵌入式軟件堆棧，通過顯示不同的性能指標(biāo)（如推斷周期計(jì)數(shù)估計(jì)和網(wǎng)絡(luò)執(zhí)行結(jié)果），評(píng)估在Cortex-M55 CPU和Ethos-U NPU上運(yùn)行的網(wǎng)絡(luò)的性能。

軟件和硬件概述

評(píng)估工具包基于Arm?Corstone?-300參考包。Arm?Corstone?-300幫助您在Arm?Cortex上快速構(gòu)建SOC?-M55和Arm?精神?-U55設(shè)計(jì)。Arm?Corstone?-300設(shè)計(jì)實(shí)現(xiàn)在Arm MPS3 FPGA板上公開，或作為MPS3開發(fā)板的固定虛擬平臺(tái)公開。

這里描述了Ethos-U NPU軟件堆棧。

所有ML用例，盡管說明了不同的應(yīng)用程序，都有共同的代碼，比如初始化硬件抽象層（HAL）。由于HAL，應(yīng)用程序通用代碼可以在x86或Arm Cortex-M體系結(jié)構(gòu)上運(yùn)行。對(duì)于ML應(yīng)用程序特定的部分，Google?TensorFlow? 微控制器推理機(jī)用于調(diào)度神經(jīng)網(wǎng)絡(luò)模型的執(zhí)行。微控制器TensorFlow Lite與Ethos-U NPU驅(qū)動(dòng)程序集成，并將某些操作符的執(zhí)行委托給NPU，如果NPU不支持神經(jīng)網(wǎng)絡(luò)模型操作符，則委托給CPU。CMSIS-NN用于優(yōu)化int8數(shù)據(jù)類型的CPU工作負(fù)載執(zhí)行。通用的ML應(yīng)用程序函數(shù)將幫助您專注于實(shí)現(xiàn)定制ML用例的邏輯：您只能修改用例代碼，而保持所有其他組件不變。提供的構(gòu)建系統(tǒng)將發(fā)現(xiàn)新的ML應(yīng)用程序代碼，并自動(dòng)將其包含到編譯流中。

要在Cortex-M和Ethos-U NPU上運(yùn)行ML應(yīng)用程序，請(qǐng)執(zhí)行以下步驟：

1. 通過安裝所需的先決條件來(lái)設(shè)置您的環(huán)境。
2. 按照此處的說明，使用Vela編譯器生成Ethos-U的優(yōu)化神經(jīng)網(wǎng)絡(luò)模型。
3. 配置生成系統(tǒng)。
4. 使用make命令編譯項(xiàng)目。

如果使用FVP，請(qǐng)?jiān)贔VP上啟動(dòng)所需的應(yīng)用程序。如果使用FPGA選項(xiàng)，請(qǐng)?jiān)贔PGA上加載圖像并啟動(dòng)應(yīng)用程序。

要熟悉這些步驟，您可以按照《快速入門指南》進(jìn)行操作。

審核編輯：符乾江