利用 Renesas 的 RZ/V2 系列 MPU 加速視覺識別系統(tǒng)設(shè)計

作者：Jacob Beningo

邊緣視覺識別正成為許多產(chǎn)品的一個越來越關(guān)鍵的特性，機器學(xué)習(xí) （ML） 和人工智能 （AI） 的應(yīng)用范圍不斷擴大。開發(fā)人員面臨的問題在于，ML/AI賦能的視覺運行識別算法所需要的計算能力可能超出了功耗受限應(yīng)用所能提供的能力。如果需要昂貴的熱管理解決方案，則成本還會增加。

邊緣 ML/AI 的目標是找到最優(yōu)架構(gòu)方法以平衡性能與功耗，同時提供一個強大的軟件生態(tài)系統(tǒng)來開發(fā)應(yīng)用程序。

基于這些考慮，本文介紹了 Renesas Electronics RZ/V2 系列微處理器單元 （MPU） 解決方案，該方案內(nèi)置 AI硬件加速器。本文探討了 MPU——而非微控制器 （MCU） 或高端圖形處理單元 （GPU）——如何解決設(shè)計人員面臨的幾個問題，本文還說明了如何利用 RZ/V2系列設(shè)計視覺識別系統(tǒng)，并提供了一些有助于順利完成該過程的“技巧與訣竅”。

RZ/V2 系列 MPU 介紹

RZ/V2 系列 MPU 解決方案為使用三核微處理器的開發(fā)人員解鎖了許多能力。RZ/V2L 系列微處理器包含兩個運行在 1.2 GHz 的 ArmCortex-A55 處理器和一個運行在 200 MHz 的實時微控制器內(nèi)核 （Arm? Cortex?-M33）。此外，該系列器件包含一個基于 ArmMali-G31 多媒體處理器的 GPU，具有 NEON 單指令/多數(shù)據(jù) （SIMD）指令。這三個處理核心和多媒體處理器相結(jié)合，為從事視覺識別系統(tǒng)的開發(fā)人員提供了功能全面的解決方案。

RZ/V2 系列目前有兩類 MPU，即 RZ/V2L 和 RZ/V2M 系列。RZ/V2L 有一個簡單的圖像信號處理器 （ISP）、3D圖形引擎和一個高度通用的外設(shè)集。RZ/V2M 則增加了一個高性能 ISP，支持每秒 30 幀 （fps） 的 4K 分辨率。本文重點介紹 RZ/V2L系列，包括 R9A07G054L23GBG 和R9A07G054L24GBG。這兩款器件的主要區(qū)別在于：R9A07G054L23GBG 采用 15 mm2456-LFBGA 封裝，而 R9A07G054L24GBG 采用 21 mm2 551-LFBGA 封裝。

RZ/V2L 系列的方框圖如圖 1 所示。除了三個處理核心外，這些 MPU 還包括 DDR3/DDR4內(nèi)存、SPI、USB、以太網(wǎng)、I2C、CAN、SCI、GPIO、模數(shù)轉(zhuǎn)換器 （ADC）等標準外設(shè)的接口。此外，這些器件包含安全功能，如安全啟動、加密引擎和真隨機數(shù)發(fā)生器 （TRNG）。不過，該 MPU 系列的出眾之處在于其動態(tài)可配置處理器（DRP） AI 加速器。

秘密武器——DRP-AI 加速器

DRP-AI 加速器是讓 RZ/V2L 系列 MPU 以較少的能耗和較低的溫度快速執(zhí)行視覺識別應(yīng)用的秘密武器。DRP-AI 包括兩個元件：DRP 和 AI乘法累加 （MAC），二者能通過內(nèi)部開關(guān)優(yōu)化數(shù)據(jù)流來高效處理卷積網(wǎng)絡(luò)和全組合層的操作（圖 2）。

DRP-AI 硬件專門用于執(zhí)行 AI 推理。DRP-AI 采用 Renesas開發(fā)的獨特動態(tài)可配置技術(shù)，可提供靈活性、高速處理和高能效。此外，免費軟件工具 DRP-AI 翻譯器可以讓用戶實施優(yōu)化的 AI 模型，迅速實現(xiàn)性能最大化。由DRP-AI 翻譯器輸出的多個可執(zhí)行文件可以放在外部存儲器中。然后，應(yīng)用程序可以在運行時在多個 AI 模型之間動態(tài)切換。

DRP 可以通過動態(tài)改變硬件配置來快速處理復(fù)雜的活動，如圖像預(yù)處理和 AI 模型池化層。

DRP-AI 翻譯器

DRP-AI 翻譯器工具從訓(xùn)練好的 ONNX 模型生成 DRP-AI 優(yōu)化的可執(zhí)行文件，與具體 AI 框架無關(guān)。例如，開發(fā)人員可以使用PyTorch、TensorFlow 或任何其他 AI 建?？蚣?，只要能輸出 ONNX 模型即可。模型一旦訓(xùn)練完畢，就被送入 DRP-AI 翻譯器，由其生成DRP 和 AI-MAC 可執(zhí)行文件（圖 3）。

DRP-AI 翻譯器有三個主要用途：

調(diào)度 AI 模型處理的每個操作。

隱藏開銷，如計劃表中每個操作的轉(zhuǎn)換期間發(fā)生的內(nèi)存訪問時間。

優(yōu)化網(wǎng)絡(luò)圖結(jié)構(gòu)。

翻譯器自動將 AI 模型的每個進程分配給 AI-MAC 和 DRP，用戶無需成為硬件專家就能輕松使用DRP-AI。開發(fā)人員可通過所提供的驅(qū)動程序進行調(diào)用，以運行高性能 AI 模型。此外，DRP-AI 翻譯器可持續(xù)更新以支持新開發(fā)的 AI模型，而無需改變硬件。

系統(tǒng)用例和流程

使用 RZ/V2L MPU 訓(xùn)練和部署視覺識別應(yīng)用的一般流程如圖 4所示。像平常一樣，工程師可以獲取數(shù)據(jù)集，并使用它來訓(xùn)練自己的視覺識別模型。無論嘗試識別的是貓咪、購物車中的產(chǎn)品，還是裝配線上的故障零件，他們都可以使用熟悉的AI 框架開展訓(xùn)練流程。模型訓(xùn)練完成后，就會被轉(zhuǎn)換成 ONNX 格式，并被送入 DRP-AI 翻譯器，翻譯器進而輸出可以在 DRP-AI硬件上執(zhí)行的目標代碼。隨后，來自攝像頭、加速計或其他傳感器的數(shù)據(jù)經(jīng)采樣后饋入可執(zhí)行文件，提供運行推理的結(jié)果。

工程師在其設(shè)計中可以通過多種方式利用 RZ/V2L MPU（圖 5）。首先，RZ/V2L MPU 可用于獨立的設(shè)計中，RZ/V2L用作系統(tǒng)中唯一的處理器。它有三個核心和 AI 加速硬件，系統(tǒng)可以不需要額外的計算能力。

第二個用例是 RZ/V2L 用作更大系統(tǒng)中的 AI 處理器。在此用例中，RZ/V2L 運行 AI推理，并將結(jié)果返回給另一個處理器或系統(tǒng)，后者針對該結(jié)果進行操作。所選用例取決于多個因素，如成本、整體系統(tǒng)架構(gòu)、性能和實時響應(yīng)要求。

現(xiàn)實生活應(yīng)用示例

有許多可以部署視覺識別技術(shù)的用例。一個有趣的例子是在超市。如今，在雜貨店結(jié)賬時，員工或購物者通常會掃描購物車中的每件物品。一個有趣的用例是利用視覺識別檢測穿過傳送帶的物品，并自動計費。

可以使用簡單的 CMOS 攝像頭和 Renesas 的 RTK9754L23S01000BE 評估板來構(gòu)建原型（圖 6）。RZ/V2L嵌入式開發(fā)板帶有系統(tǒng)級模塊 （SOM） 和載板，便于開發(fā)人員快速啟動和運行。此外，開發(fā)板支持 Linux 和 DRP-AI 翻譯器等各種工具。

圖 7 中可以看到獲取圖像數(shù)據(jù)和產(chǎn)生 AI 結(jié)果所需的操作概述。在此應(yīng)用示例中，使用 CMOS 傳感器通過板載 ISP拍攝傳送帶的圖像。然后，圖像被保存到存儲器中并被送入 DRP-AI 引擎。最后，DRP-AI 引擎運行推理并提供 AI結(jié)果。例如，結(jié)果可能是發(fā)現(xiàn)了香蕉或蘋果，或其他某種水果。

該結(jié)果通常伴隨一個 0 到 1 的置信度。例如，置信度 0.90 意味著 AI 確信檢測到蘋果，而置信度 0.52 可能表示 AI認為是蘋果但不確定。將多個樣本的 AI 結(jié)果進行平均以提高正確結(jié)果的概率，這種做法并不罕見。

最后，在此例中，檢測到的物體周圍會繪制一個方框，識別到的物體的名稱與置信度一起顯示在方框中（圖 8）。

RZ/V2L 入門技巧與訣竅

希望在 Renesas 的 RZ/V2L MPU
上開始機器學(xué)習(xí)的開發(fā)人員會發(fā)現(xiàn)，他們有很多資源可資利用。為了簡化和加快開發(fā)，開發(fā)人員應(yīng)牢記以下幾個“技巧和竅門”：

從開發(fā)板和現(xiàn)有示例開始，體驗應(yīng)用的部署和運行。

如果有必要執(zhí)行多個推理，則將可執(zhí)行模型保存到外部存儲器中，并使用 DRP-AI 功能在模型間快速切換。

查看 Renesas 的 RZ/V 嵌入式 AI MPU 網(wǎng)站上的文檔和視頻。

下載 DRP-AI 翻譯器。

下載 RZ/V2L DRP-AI 支持包。

開發(fā)人員遵循這些“技巧和竅門”，可以在開始使用時節(jié)省更多的時間并省去更多的麻煩。

結(jié)語

ML 和 AI 正在進入許多邊緣應(yīng)用，實時識別物品的能力變得越來越重要。設(shè)計人員的困難在于找到合適的架構(gòu)，以便在邊緣執(zhí)行 AI/ML。GPU通常非常耗電，而 MCU 可能沒有足夠的計算能力。

如本文所述，配備 DRP-AI 的 Renesas RZ/V MPU 系列具備多個優(yōu)點，如硬件加速 AI，同時還有大量的工具鏈和原型開發(fā)支持。