利用開發(fā)工具包為所有六個(gè)NVIDIA Jetson Orin模塊開發(fā)

Orin Nano 模塊擁有多達(dá) 40 個(gè) AI 性能 TOPS ，為入門級(jí) AI 設(shè)定了新標(biāo)準(zhǔn)，正如 Jetson AGX Orin 已經(jīng)通過 275 個(gè)服務(wù)器級(jí)計(jì)算 TOPS 重新定義了機(jī)器人和其他自主邊緣用例一樣。

所有 Jetson Orin 模塊和 Jetson AGX Orin Developer Kit 基于單個(gè) SoC 架構(gòu)，帶有 NVIDIA 安培架構(gòu) GPU 、高性能 CPU 和最新加速器。這種共享架構(gòu)意味著您可以為一個(gè) Jetson Orin 模塊開發(fā)軟件，然后輕松地將其部署到任何其他模塊。

您可以使用 Jetson AGX Orin 開發(fā)工具包立即開始開發(fā)任何 Jetson Orin 模塊。開發(fā)人員工具包能夠以本機(jī)方式模擬任何模塊的性能，因此您可以立即開始，縮短上市時(shí)間。通過配置硬件特性和時(shí)鐘以匹配目標(biāo)模塊的時(shí)鐘，開發(fā)人員工具包可以精確模擬任何 Jetson Orin 模塊的性能。

開發(fā)團(tuán)隊(duì)受益于只需要一種類型的開發(fā)人員工具包的簡單性，而不管生產(chǎn)的目標(biāo)是什么模塊。這也簡化了 CI / CD 基礎(chǔ)架構(gòu)。無論您是在開發(fā)機(jī)器人技術(shù)、視頻分析還是任何其他用例，這一開發(fā)工具包的功能都會(huì)帶來許多好處。

將 Jetson AGX Orin 開發(fā)工具包轉(zhuǎn)換為任何 Jetson Orin 模塊

只需一步，您就可以將 Jetson AGX Orin Developer Kit 轉(zhuǎn)換為任何一個(gè) Jetson Orin 模塊。我們?yōu)檫@個(gè)過程提供了閃存配置文件。

在 Jetson AGX Orin Developer Kit 上模擬 Jetson Orin 模塊，遵循中提到的相同步驟 to flash a Jetson AGX Orin Developer Kit using the flashing utilities 。在將開發(fā)工具包放入 Force Recovery Mode 后，閃光燈會(huì)閃爍。 sh 命令行工具用于用新圖像刷新它。例如，以下命令使用默認(rèn)配置刷新開發(fā)人員工具包：

$ sudo ./flash.sh jetson-agx-orin-devkit mmcblk0p1

您使用的確切命令應(yīng)修改為適用于您要模擬的目標(biāo) Jetson Orin 模塊的閃存配置名稱。例如，要模擬 Jetson Orin NX 16GB 模塊，請(qǐng)使用以下命令：

$ sudo ./flash.sh jetson-agx-orin-devkit-as-nx-16gb mmcblk0p1

表 1 列出了 Jetson Orin 模塊和閃存。適用于每個(gè)命令的 sh 命令。

自版本 5.0.2 起， Jetson Orin Nano 模塊的閃存配置尚未包含在 NVIDIA JetPack 中。請(qǐng)?jiān)?/span>downloading them之后使用這些新配置，并根據(jù)下載文件中的說明在 NVIDI JetPack 5.0.2 之上應(yīng)用覆蓋補(bǔ)丁。

閃存完成后，完成初始啟動(dòng)和配置。然后，您可以使用 SDK Manager 安裝其余的 NVIDIA JetPack 組件，或者只需在運(yùn)行的開發(fā)人員工具包上使用軟件包管理器即可：

sudo apt update
sudo apt install nvidia-jetpack

現(xiàn)在您已經(jīng)運(yùn)行了開發(fā)人員工具包并安裝了 NVIDIA JetPack 。您的 Jetson AGX Orin Developer Kit 現(xiàn)在可以模擬指定的 Jetson Orin 模塊的性能和功率。

準(zhǔn)確模擬任何 Jetson Orin 模塊

本機(jī)模擬非常準(zhǔn)確，因?yàn)樗鼘㈤_發(fā)人員工具包配置為與時(shí)鐘頻率、 GPU 和 CPU 內(nèi)核的數(shù)量以及目標(biāo)模塊可用的硬件加速器相匹配。

例如，在模擬 Jetson Orin NX 16GB 模塊時(shí)：

顯影劑套件 GPU 配置有 1024 個(gè) CUDA 核和 32 個(gè) Tensor 核，最大頻率為 918 MHz 。

CPU 復(fù)合體配置有 8 個(gè) Arm Cortex-A78AE 內(nèi)核，運(yùn)行頻率為 2 GHz 。

DRAM 配置為 16 GB ，帶寬為 102 GB / s 。

系統(tǒng)提供了 Jetson Orin NX 16GB 模塊支持的相同電源配置文件。

圖 1 可用電源模式

從桌面上的頂部菜單打開 Jetson Power 圖形用戶界面，您會(huì)看到系統(tǒng)已根據(jù)模擬的目標(biāo)模塊進(jìn)行了準(zhǔn)確配置。通過運(yùn)行以下命令可以配置最大時(shí)鐘， Jetson Power 圖形用戶界面將顯示更改。

sudo jetson_clocks

圖 2 顯示了當(dāng) Jetson AGX Orin Developer Kit 閃存到模擬的 Jetson AGX-Orin 64GB 模塊時(shí)，與閃存到模擬 Jetson Orin NX 16GB 模塊時(shí)相比，配置最大時(shí)鐘后的 Jetson Power 圖形用戶界面。

通過運(yùn)行 NVIDIA JetPack 提供的各種示例，您可以看到性能已調(diào)整為與模擬的模塊相匹配。例如，在配置 Jetson AGX Orin Developer Kit 以模擬相應(yīng)模塊后，與 VPI 庫打包的基準(zhǔn)測試示例可用于顯示 Jetson AGX-Orin 64GB 、 Jetson Orin NX 16GB 和 Jetson Orin Nano 8GB 模塊的 CPU 、 GPU 和 PVA 性能。

要運(yùn)行 VPI 基準(zhǔn)測試示例，請(qǐng)使用以下命令：

cd /opt/nvidia/vpi2/samples/05-benchmark
sudo cmake .
sudo make
sudo ./vpi_sample_05_benchmark 

VPI 基準(zhǔn)測試示例輸出高斯算法的延遲（毫秒）。表 2 顯示了每個(gè)目標(biāo)模塊的結(jié)果。

同樣，您可以運(yùn)行多媒體樣本進(jìn)行編碼和解碼。

要解碼，請(qǐng)運(yùn)行以下命令：

cd /usr/src/jetson_multimedia_api/samples/00_video_decode
sudo make
sudo ./video_decode H264 --disable-rendering --stats --max-perf 

要進(jìn)行編碼，請(qǐng)運(yùn)行以下命令：

cd /usr/src/jetson_multimedia_api/samples/01_video_encode
sudo make
sudo ./video_encode input.yuv 1920 1080 H264 out.h264 -fps 30 1 -ifi 1000 -idri 1000 --max-perf --stats

表 3 報(bào)告了使用 H.264 1080P 30FPS 視頻流運(yùn)行這些編碼和解碼樣本后的 FPS 數(shù)。

* Jetson Orin Nano 不包括 NVEncoder 。對(duì)于表 3 ， Jetson Orin Nano 的編碼是使用 ffmpeg 在 CPU 上完成的。使用四個(gè) CPU 磁芯時(shí)，可實(shí)現(xiàn) 110 FPS 。當(dāng)使用兩個(gè) CPU 巖芯時(shí)， FPS 達(dá)到 73 ；當(dāng)使用單個(gè) CPU 巖心時(shí)， FPS 達(dá)到 33 。

為了證明仿真的準(zhǔn)確性，我們?cè)?Jetson AGX Orin Developer Kit 上運(yùn)行了一些 AI 模型基準(zhǔn)測試，模擬為 Jetson AGX-Orin 32GB 。然后，我們將其與在實(shí)際 Jetson AGX-Orin 32GB 模塊上運(yùn)行相同基準(zhǔn)測試所獲得的結(jié)果進(jìn)行比較。從結(jié)果中可以看出，模擬性能和實(shí)際性能之間的差異微不足道。

盡管 Jetson AGX Orin Developer Kit 包括 32GB 模塊，但它提供了相同級(jí)別的性能，并且配備了 275 個(gè) TOPS ，與 Jetson AGX-Orin 64GB 相匹配。 Jetson AGX Orin 64 GB 仿真不需要特殊的閃存配置，但您必須使用適當(dāng)?shù)拈W存配置在 Jetson AGX-Orin Developer Kit 上仿真 Jetson AGX-Orin 32GB 。

對(duì)任何 Jetson Orin 模塊進(jìn)行端到端開發(fā)

您可以在模擬 Jetson Orin 模塊時(shí)使用整個(gè) Jetson 軟件堆棧。 NVIDIA DeepStream 、 NVIDIA -Isaac 和 NVIDIA Riva 等框架在仿真模式下工作，而 TAO Toolkit 等工具在 NGC 的預(yù)處理模型中的性能如預(yù)期。軟件堆棧與仿真無關(guān)，性能與被仿真的目標(biāo)精確匹配。

如果您正在開發(fā)機(jī)器人用例或開發(fā)視覺 AI 管道，您現(xiàn)在可以使用 Jetson AGX Orin Developer Kit 和仿真模式對(duì)任何 Jetson Orin 模塊進(jìn)行端到端開發(fā)。

使用 NVIDIA ISAAC ROS 為任何 Jetson Orin 模塊開發(fā)機(jī)器人應(yīng)用程序。只需使用正確的閃存配置來閃存并啟動(dòng) ROS 開發(fā)。

關(guān)于作者

Suhas Sheshadri 是 NVIDIA 的產(chǎn)品經(jīng)理，專注于 Jetson 軟件。此前，他曾在 NVIDIA 與自主駕駛團(tuán)隊(duì)合作，為 NVIDIA 驅(qū)動(dòng)平臺(tái)優(yōu)化系統(tǒng)軟件。

審核編輯：郭婷