利用Renesas的RZ/V2系列MPU加速視覺識(shí)別系統(tǒng)設(shè)計(jì)

隨著邊緣視覺識(shí)別成為許多產(chǎn)品中越來(lái)越重要的功能，機(jī)器學(xué)習(xí) （ML） 和人工智能 （AI） 正在進(jìn)入廣泛的應(yīng)用領(lǐng)域。開發(fā)人員面臨的問題是，與功耗受限的應(yīng)用程序相比，支持 ML/AI 的視覺可能需要更多的計(jì)算能力來(lái)運(yùn)行識(shí)別算法。如果需要昂貴的熱管理解決方案，這也會(huì)增加成本。

邊緣 ML/AI 的目標(biāo)是找到平衡性能和功耗的最佳架構(gòu)方法，同時(shí)提供強(qiáng)大的軟件生態(tài)系統(tǒng)來(lái)開發(fā)應(yīng)用程序。

考慮到這些條件，本文介紹了瑞薩電子RZ/V2系列微處理器單元（MPU）及其內(nèi)置AI硬件加速器的解決方案。本文探討了MPU而不是微控制器（MCU）或高端圖形處理單元（GPU）如何解決設(shè)計(jì)人員面臨的幾個(gè)問題。本文介紹了他們?nèi)绾问褂肦Z/V2系列開始設(shè)計(jì)視覺識(shí)別系統(tǒng)，以及一些"提示和技巧"，以簡(jiǎn)化這一過程。

RZ/V2 系列 MPU 簡(jiǎn)介

RZ/V2 系列是一種解決方案，可為使用三核微處理器的開發(fā)人員解鎖許多功能。RZ/V2L系列微處理器包含兩個(gè)運(yùn)行在1.2千兆赫（GHz）的Arm Cortex-A55處理器和一個(gè)運(yùn)行在200兆赫（MHz）的實(shí)時(shí)微控制器內(nèi)核（Arm? Cortex-M33?）。此外，該系列中的部件還包含一個(gè)基于 Arm Mali-G31 多媒體處理器的 GPU，該處理器具有 NEON 單指令/多數(shù)據(jù) （SIMD） 指令。將這三個(gè)處理內(nèi)核與多媒體處理器相結(jié)合，為從事視覺識(shí)別系統(tǒng)的開發(fā)人員提供了全面的解決方案。

目前RZ/V2系列有兩種MPU等級(jí)，RZ/V2L和RZ/V2M系列。RZ/V2L 具有簡(jiǎn)單的圖像信號(hào)處理器 （ISP）、3D 圖形引擎和高度通用的外設(shè)集。就其本身而言，RZ / V2M增加了一個(gè)高性能ISP，支持每秒4幀（fps）的30K分辨率。本文重點(diǎn)介紹RZ/V2L系列，由R9A07G054L23GBG和R9A07G054L24GBG組成。這兩部分之間的主要區(qū)別在于R9A07G054L23GBG采用15毫米尺寸 ^2^ ，456-LFBGA 封裝，而 R9A07G054L24GBG 采用 21 mm 封裝 ^2^ ，551-LFBGA 封裝。

RZ/V2L系列的框圖如圖1所示。除了三個(gè)處理內(nèi)核外，MPU 還包括用于標(biāo)準(zhǔn)外設(shè)的接口，如 DDR3/DDR4 內(nèi)存、SPI、USB、以太網(wǎng)、I2C、CAN、SCI、GPIO 和模數(shù)轉(zhuǎn)換器 （ADC）。此外，這些部件還包括安全啟動(dòng)、加密引擎和真隨機(jī)數(shù)生成器 （TRNG） 等安全功能。然而，讓 MPU 系列與眾不同的是動(dòng)態(tài)可重新配置處理器 （DRP） AI 加速器。

圖 1：RZ/V2L MPU 系列支持各種外設(shè)接口、安全性和視頻處理選項(xiàng)。視覺識(shí)別應(yīng)用的關(guān)鍵特性是DRP-AI加速器。（圖片來(lái)源：瑞薩電子株式會(huì)社）

DRP-AI 加速器秘訣

DRP-AI 加速器是使 RZ/V2L 系列 MPU 能夠以更低的能耗和更低的熱分布快速執(zhí)行視覺識(shí)別應(yīng)用的秘訣。DRP-AI 由兩個(gè)組件組成：DRP 和 AI 乘法累加 （MAC），它們可以通過內(nèi)部交換機(jī)優(yōu)化數(shù)據(jù)流來(lái)有效地處理卷積網(wǎng)絡(luò)和全組合層中的操作（圖 2）。

DRP-AI 硬件專用于 AI 推理執(zhí)行。DRP-AI采用瑞薩電子開發(fā)的獨(dú)特動(dòng)態(tài)可重構(gòu)技術(shù)，可提供靈活性、高速處理和能效。此外，DRP-AI 轉(zhuǎn)換器是一種免費(fèi)軟件工具，可讓用戶實(shí)現(xiàn)優(yōu)化的 AI 模型，從而快速最大限度地提高性能。DRP-AI轉(zhuǎn)換器輸出的多個(gè)可執(zhí)行文件可以放置在外部存儲(chǔ)器中。然后，應(yīng)用程序可以在運(yùn)行時(shí)在多個(gè) AI 模型之間動(dòng)態(tài)切換。

DRP 可以通過動(dòng)態(tài)更改硬件配置來(lái)快速處理復(fù)雜的活動(dòng)，例如圖像預(yù)處理和 AI 模型池化層。

圖 2：DRP-AI 由 DRP 和 AI-MAC 組成，它們可以通過優(yōu)化內(nèi)部交換機(jī)的數(shù)據(jù)流，共同有效地處理卷積網(wǎng)絡(luò)和全組合層中的操作。（圖片來(lái)源：瑞薩電子株式會(huì)社）

DRP-AI 轉(zhuǎn)換器

The DRP-AI Translator tool generates DRP-AI optimized executables from trained ONNX models, independent of any AI framework. For example, a developer could use PyTorch, TensorFlow, or any other AI modeling framework if it outputs an ONNX model. Once the model is trained, it is fed into the DRP-AI Translator, which generates the DRP and AI-MAC executables (Figure 3).

Figure 3: AI models are trained using any ONNX compatible framework. The ONNX model is then fed into the DRP-AI Translator, which generates the DRP and AI-MAC executables. (Image source: Renesas Electronics Corporation)

The DRP-AI Translator has three primary purposes:

1. Scheduling of each operation to process the AI model.2. Hiding overhead such as memory access time that occurs during each operation's transition in the schedule.3. Optimizing the network graph structure.

The Translator automatically allocates each process of the AI model to the AI-MAC and DRP, thus allowing the user to easily use DRP-AI without being a hardware expert. Instead, the developer can make calls through the supplied driver to run the high-performance AI model. In addition, the DRP-AI translator can continuously update to support newly developed AI models without hardware changes.

系統(tǒng)用例和流程

使用 RZ/V2L MPU 訓(xùn)練和部署視覺識(shí)別應(yīng)用的一般流程如圖 4 所示。像往常一樣，工程師可以獲取他們的數(shù)據(jù)集并使用它來(lái)訓(xùn)練他們的視覺識(shí)別模型。無(wú)論他們是試圖識(shí)別貓、購(gòu)物車中的產(chǎn)品還是裝配線上出現(xiàn)故障的零件，訓(xùn)練過程都將使用熟悉的 AI 框架進(jìn)行。訓(xùn)練模型后，將其轉(zhuǎn)換為 ONNX 格式并饋送到 DRP-AI 轉(zhuǎn)換器，后者又輸出可在 DRP-AI 硬件上執(zhí)行的目標(biāo)代碼。然后，對(duì)來(lái)自攝像頭、加速度計(jì)或其他傳感器的數(shù)據(jù)進(jìn)行采樣并饋送到可執(zhí)行文件中，從而提供運(yùn)行推理的結(jié)果。

圖 4：在 RZ/V2L MPU 上訓(xùn)練和運(yùn)行視覺識(shí)別算法的過程。（圖片來(lái)源：瑞薩電子株式會(huì)社）

工程師可以通過多種方式在設(shè)計(jì)中利用 RZ/V2L MPU（圖 5）。首先，RZ/V2L MPU 可用于獨(dú)立設(shè)計(jì)，其中 RZ/V2L 是系統(tǒng)中唯一的處理器。憑借其三個(gè)內(nèi)核和AI加速硬件，可能不需要額外的計(jì)算能力。

第二個(gè)用例是RZ/V2L在更廣泛的系統(tǒng)中用作AI處理器。在此用例中，RZ/V2L 運(yùn)行 AI 推理并將結(jié)果返回給另一個(gè)處理器或系統(tǒng)，然后由該處理器或系統(tǒng)對(duì)該結(jié)果進(jìn)行操作。選擇的用例將取決于各種因素，例如成本、整體系統(tǒng)架構(gòu)、性能和實(shí)時(shí)響應(yīng)要求。

！[瑞薩電子RZ/V2L MPU的兩個(gè)用例示意圖]（//file.elecfans.com/web2/M00/77/AB/poYBAGNkz22AKy4aAABBuflzq2w981.jpg“瑞薩電子RZ/V2L MPU的兩個(gè)用例”）圖 5：RZ/V2L MPU的兩個(gè)用例是在應(yīng)用中獨(dú)立使用它們，或者作為在更廣泛的系統(tǒng)中使用的 AI 處理器使用。（圖片來(lái)源：瑞薩電子株式會(huì)社）

實(shí)際應(yīng)用示例

有許多用例可以部署視覺識(shí)別技術(shù)。一個(gè)有趣的例子是在超市。今天，在雜貨店結(jié)賬時(shí)，員工或購(gòu)物者通常會(huì)掃描購(gòu)物車中的每件商品。一個(gè)有趣的用例是使用視覺識(shí)別檢測(cè)穿過傳送帶的產(chǎn)品并自動(dòng)收費(fèi)。

可以使用簡(jiǎn)單的CMOS相機(jī)和瑞薩電子的[RTK9754L23S01000BE]（https://www.digikey.com/en/products/detail/renesas-electronics-america-inc/RTK9754L23S01000BE/16187521）評(píng)估板構(gòu)建原型（圖6）。RZ/V2L 嵌入式開發(fā)板具有模塊系統(tǒng) （SOM） 和載板，使開發(fā)人員能夠快速啟動(dòng)和運(yùn)行。此外，該開發(fā)板還支持Linux以及DRP-AI轉(zhuǎn)換器等各種工具。

！[瑞薩電子RZ/V2L嵌入式開發(fā)板圖像]（https://www.digikey.com/-/media/Images/Article%20Library/TechZone%20Articles/2022/September/Accelerate%20Vision%20Recognition%20System%20Design/article-2022september-accelerate-vision-recognition-system_fig6.jpg?la=en&ts=203d0787-6ae7-4716-8e1f-00dce15d82f9“Renesas RZ/V2L嵌入式開發(fā)板”）*圖 6：RZ/V2L 嵌入式開發(fā)板具有 SOM和載板，使開發(fā)人員能夠快速啟動(dòng)和運(yùn)行。（圖片來(lái)源：瑞薩電子株式會(huì)社）*

圖 7 顯示了獲取圖像數(shù)據(jù)和生成 AI 結(jié)果所需的操作概述。在本應(yīng)用示例中，傳送帶的圖像使用CMOS傳感器通過板載ISP拍攝。接下來(lái)，將圖像保存到內(nèi)存中并輸入DRP-AI引擎。最后，DRP-AI 引擎運(yùn)行推理并提供 AI 結(jié)果。例如，結(jié)果可能是發(fā)現(xiàn)了香蕉、蘋果或其他水果。

結(jié)果通常伴隨著 0 到 1 的置信水平。例如，0.90 置信度表示 AI 確信它檢測(cè)到了一個(gè)蘋果。另一方面，0.52的置信度可能意味著人工智能認(rèn)為它是一個(gè)蘋果，但不確定。獲取 AI 結(jié)果并在多個(gè)樣本中平均以提高獲得正確結(jié)果的機(jī)會(huì)的情況并不少見。

！[瑞薩電子RZ/V2L嵌入式開發(fā)板示意圖]（file.elecfans.com/web2/M00/77/AB/poYBAGNkz2-ADWgeAABVKqnBB7g602.jpg“瑞薩電子RZ/V2L嵌入式開發(fā)板”）圖 7：RZ/V2L 嵌入式開發(fā)板用于運(yùn)行 AI 推理，以識(shí)別傳送帶上的各種水果。該圖演示了獲取圖像并生成 AI 結(jié)果所需的步驟。（圖片來(lái)源：瑞薩電子株式會(huì)社）

最后，在本例中，在檢測(cè)到的對(duì)象周圍繪制一個(gè)框，并顯示識(shí)別對(duì)象的名稱以及置信度（圖 8）。

！[瑞薩電子RZ/V2L的輸出示例]（https://www.digikey.com/-/media/Images/Article%20Library/TechZone%20Articles/2022/September/Accelerate%20Vision%20Recognition%20System%20Design/article-2022september-accelerate-vision-recognition-system_fig8.jpg?la=en&ts=06c253a5-b285-4dda-a005-be06d4026a2e“來(lái)自瑞薩電子RZ/V2L的輸出”）*圖 8：RZ/V2L 在檢測(cè)傳送帶上的水果和蔬菜的應(yīng)用中的示例輸出。（圖片來(lái)源：瑞薩電子株式會(huì)社）*

開始使用 RZ/V2L 的提示和技巧

希望在瑞薩電子RZ/V2L MPU上開始機(jī)器學(xué)習(xí)的開發(fā)人員會(huì)發(fā)現(xiàn)，他們有大量資源可以利用來(lái)啟動(dòng)和運(yùn)行。以下是開發(fā)人員應(yīng)牢記的幾個(gè)"提示和技巧"，可以簡(jiǎn)化和加快他們的開發(fā)：

• 從開發(fā)板和現(xiàn)有示例開始，了解部署和運(yùn)行應(yīng)用程序的情況。*如果需要執(zhí)行多個(gè)推理，請(qǐng)將可執(zhí)行模型保存到外部存儲(chǔ)器，并使用 DRP-AI 功能在模型之間快速切換。*查看瑞薩電子RZ/V嵌入式AI MPU網(wǎng)站上的文檔和視頻。*下載[DRP-AI 轉(zhuǎn)換器]（https://www.renesas.com/us/en/products/microcontrollers-microprocessors/rz-arm-based-high-end-32-64-bit-mpus/drp-ai-translator）。*下載 RZ/V2L[DRP-AI 支持包]（https://www.renesas.com/us/en/products/microcontrollers-microprocessors/rz-arm-based-high-end-32-64-bit-mpus/rzv2l-drp-ai-support-package）。

遵循這些"提示和技巧"的開發(fā)人員在開始時(shí)將節(jié)省相當(dāng)多的時(shí)間和悲傷。

結(jié)論

ML 和 AI 正在進(jìn)入許多邊緣應(yīng)用，實(shí)時(shí)識(shí)別對(duì)象的能力變得越來(lái)越重要。對(duì)于設(shè)計(jì)人員來(lái)說(shuō)，困難在于找到合適的架構(gòu)來(lái)在邊緣執(zhí)行 AI/ML。GPU 往往耗電，而 MCU 可能沒有足夠的計(jì)算能力。

如圖所示，采用DRP-AI的瑞薩電子RZ/V MPU系列具有硬件加速AI等多個(gè)優(yōu)勢(shì)，以及大量的工具鏈和原型設(shè)計(jì)支持。