基于瑞薩RZ/V2H AI微處理器的解決方案：高性能視覺(jué)AI系統(tǒng)

?

RZ/V2H嵌入式AI微處理器，采用瑞薩最新的DRP-AI3技術(shù)，可提供高達(dá)8TOPS（Dense模型）/80TOPS（sparse模型）的AI推理能力，以及10 TOPS/W的高能效。它既滿(mǎn)足處理復(fù)雜的實(shí)時(shí)物體識(shí)別及推理，同時(shí)功耗可與傳統(tǒng)的嵌入式MPU相媲美，無(wú)需冷卻風(fēng)扇。這里介紹基于RZ/V2H的解決方案：高性能視覺(jué)AI系統(tǒng)。

RZ/V2H產(chǎn)品優(yōu)勢(shì)

■ 瑞薩最新的DRP-AI3加速器，最高可達(dá)8TOPS（Dense模型）/80 TOPS（Sparse模型）推理能力

■ 高能效的DRP-AI3無(wú)需風(fēng)扇，降低了冷卻組件和系統(tǒng)成本

■ 4路攝像頭，支持ISP處理

■ 高實(shí)時(shí)性CPU，實(shí)現(xiàn)AI與控制的高級(jí)協(xié)同

■ DRP加速了OpenCV等傳統(tǒng)圖像處理

RZ/V2H框圖

RZ/V2H主要功能

CPU: 7核

■ Cortex-A55（1.8GHz） x 4核

■ Cortex-R8（800MHz） x 2核

■ Cortex-M33（200MHz） x 1核

AI推理與圖形加速器：

■ AI加速器DRP-AI3

■ 動(dòng)態(tài)可重構(gòu)處理器（DRP）

圖形視頻處理：

■ MIPI CSI-2 4L攝像頭接口4路

■ Arm Mali-C55 ISP 4K

■ H.264/265編解碼

■ Mali-G31 GPU

■ MIPI DSI 4L顯示輸出

高速接口：

■ 64位LPDDR4/LPDDR4X內(nèi)存接口

■ 千兆以太網(wǎng)2路

■ USB3.2（Gen2）接口2ch（僅限主機(jī)）

■ PCIe接口（Gen3/4通道）1通道

■ CAN接口（CAN-FD）6ch

封裝：

■ 19x19mm 1368引腳BGA 0.5mm間

?

解決方案：高性能視覺(jué)AI系統(tǒng)

高端視覺(jué)AI MPU采用瑞薩電子的DRP-AI高效AI加速器和OpenCV圖像處理加速器，可幫助下一代機(jī)器人實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測(cè)。例如，該器件可兼容使用攝像頭監(jiān)控周?chē)h(huán)境并估計(jì)其位置的機(jī)器人吸塵器以及使用攝像頭檢查和拾取指定零件的工業(yè)機(jī)器人。

系統(tǒng)框圖

系統(tǒng)優(yōu)勢(shì)

借助最大容量為80TOPS（sparse模型）的新一代人工智能加速器DRP-AI，可實(shí)現(xiàn)高精度和高速圖像人工智能系統(tǒng)片上高速Arm?Cortex-R8雙核RTOS處理器，可在單芯片上實(shí)現(xiàn)機(jī)器人所需的實(shí)時(shí)控制。

即使是在AI開(kāi)發(fā)方面經(jīng)驗(yàn)不足的客戶(hù)也可以使用預(yù)先訓(xùn)練的免費(fèi)AI應(yīng)用程序和AI SDK（一種AI開(kāi)發(fā)環(huán)境）快速開(kāi)發(fā)圖像AI系統(tǒng)。

高性能視覺(jué)AI系統(tǒng)

開(kāi)發(fā)環(huán)境

瑞薩提供靈活豐富的AI開(kāi)發(fā)環(huán)境，包括全套軟件開(kāi)發(fā)套件SDK、多種AI轉(zhuǎn)換工具及豐富的與訓(xùn)練庫(kù)，可以滿(mǎn)足從剛?cè)腴T(mén)的開(kāi)發(fā)者到專(zhuān)業(yè)的開(kāi)發(fā)者對(duì)于各類(lèi)AI開(kāi)發(fā)的要求。

RZ/V2H AI軟件開(kāi)發(fā)套件（AI SDK）

RZ/V2H AI軟件開(kāi)發(fā)套件為RZ/V2H開(kāi)發(fā)板提供AI應(yīng)用開(kāi)發(fā)環(huán)境，包括AI SDK軟件包及AI SDK源代碼，用戶(hù)可以快速、容易地建立和運(yùn)行AI應(yīng)用。

下圖展示通過(guò)3步將用戶(hù)所需AI應(yīng)用在V2H硬件上部署和運(yùn)行。

?

RZ/V2H AI模型轉(zhuǎn)換工具

■ DRP-AI Translator（DRP-AI轉(zhuǎn)換器）：這工具用于將ONNX（開(kāi)放神經(jīng)網(wǎng)絡(luò)交換）格式的訓(xùn)練AI模型轉(zhuǎn)換為可由DRP-AI執(zhí)行的對(duì)象格式。

■ DRP-AI TVM：此工具是DRP-AI轉(zhuǎn)換器到TVM后端的擴(kuò)展。CPU和DRP-AI可以協(xié)同工作，對(duì)AI模型進(jìn)行推理處理。

■ DRP-AI EXTENSION：此工具是DRP-AI擴(kuò)展包，用于在AI模型訓(xùn)練環(huán)境中創(chuàng)建稀疏模型。

下圖展示了以上3個(gè)DRP-AI工具在RZ/V2H在AI應(yīng)用開(kāi)發(fā)中的作用。

RZ/V的預(yù)訓(xùn)練庫(kù)——免費(fèi)的AI應(yīng)用程序庫(kù)

基于RZ/V的AI應(yīng)用，提供源代碼、預(yù)構(gòu)建用二進(jìn)制文件以及預(yù)訓(xùn)練AI模型。用戶(hù)可以根據(jù)需要選擇不同AI應(yīng)用類(lèi)別。

?

如何獲取以上開(kāi)發(fā)環(huán)境

豐富的AI應(yīng)用一站式網(wǎng)站指南，易于查找和獲取以上最新版的軟件及工具。瑞薩也不斷發(fā)布易于使用的AI應(yīng)用程序，減少客戶(hù)開(kāi)發(fā)周期和難度。

?