使用NVIDIA Jetson AGX Xavier部署新的自主機器

世界上為人工智能開發(fā)者開發(fā)的終極嵌入式解決方案， Jetson AGX Xavier ，現(xiàn)在作為獨立的生產(chǎn)模塊從 NVIDIA 發(fā)貨。作為自主機器 NVIDIA 的 AGX 系統(tǒng) 的一員， Jetson AGX Xavier 是將先進的人工智能和計算機視覺部署到邊緣的理想選擇，使機器人平臺具有工作站級的性能，并且能夠在不依賴人工干預(yù)和云連接的情況下完全自主地運行。由 Jetson AGX Xavier 提供動力的智能機器可以自由地在其環(huán)境中進行交互和安全導(dǎo)航，不受復(fù)雜地形和動態(tài)障礙物的阻礙，完全自主地完成現(xiàn)實世界的任務(wù)。這包括包裝交付和工業(yè)檢驗，需要先進的實時感知和推理能力。作為世界上第一臺專門為機器人和邊緣計算而設(shè)計的計算機， Jetson AGX Xavier 的高性能可以處理視覺里程測量、傳感器融合、定位和映射、障礙物檢測，以及對下一代機器人至關(guān)重要的路徑規(guī)劃算法。開發(fā)人員現(xiàn)在可以開始批量部署新的自主機器。

圖 1 。 Jetson AGX Xavier 帶熱傳遞板（ TTP ）的嵌入式計算模塊， 100x87mm

最新一代 NVIDIA 業(yè)界領(lǐng)先的嵌入式 Linux 高性能計算機 Jetson AGX 系列， Jetson AGX Xavier 以 100x87mm 的緊湊型外形，提供了 GPU 工作站級的性能和無與倫比的 32 兆兆（ TOPS ）峰值計算和 750Gbps 的高速 I / O 。用戶可以根據(jù)應(yīng)用需要配置 10W 、 15W 和 30W 的工作模式。 Jetson AGX Xavier 為可部署到邊緣的計算密度、能源效率和人工智能推斷能力設(shè)置了新的標準，使具有端到端自主能力的下一級智能機器成為可能。

Jetson 通過深度學習和計算機視覺，為許多世界上最先進的機器人和自動機器提供人工智能，同時專注于性能、效率和可編程性。 Jetson AGX Xavier ，如圖 2 所示，由超過 90 億個晶體管組成，基于有史以來最復(fù)雜的片上系統(tǒng)（ SoC ）。該平臺包括集成的 512 核 NVIDIA Volta GPU ，包括 64 張量核 、 8 核 NVIDIA Carmel ARMv8 。 2 64 位 CPU 、 16GB 256 位 LPDDR4x 、雙 NVIDIA 深度學習加速器 （ DLA ）引擎、 NVIDIA 視覺加速器引擎、高清視頻編解碼器、 128Gbps 專用攝像頭攝取和 16 通道 PCIe Gen 4 擴展。 256 位接口上的內(nèi)存帶寬為 137GB / s ，而 DLA 引擎減輕了深度神經(jīng)網(wǎng)絡(luò)（ DNNs ）的推理任務(wù)。 NVIDIA 的 jetpacksdk4 。 1 。 1 適用于 Jetson AGX Xavier 的 jetpacksdk4 。 1 。 1 包括 CUDA 10 。 0 、 cuDNN 7 。 3 和 TensorRT 5 。 0 ，提供了完整的 AI 軟件棧。

圖 2 。 Jetson AGX Xavier 提供了豐富的高速 I / O

這使得開發(fā)者能夠在機器人、智能視頻分析、醫(yī)療儀器、嵌入式物聯(lián)網(wǎng)邊緣設(shè)備等應(yīng)用中部署加速人工智能。和它的前輩 Jetson TX1 和 TX2 一樣， Jetson AGX Xavier 使用的是模塊上系統(tǒng)（ SoM ）范式。所有的處理都包含在計算模塊上，高速 I / O 通過高密度板對板連接器提供的分接載體或外殼上。以這種方式將功能封裝在模塊上，使開發(fā)人員能夠輕松地將 Jetson Xavier 集成到他們自己的設(shè)計中。 NVIDIA 發(fā)布了全面的 文檔 和參考設(shè)計文件，可供嵌入式設(shè)計師使用 Jetson AGX Xavier 創(chuàng)建自己的設(shè)備和平臺。請務(wù)必參考 Jetson AGX Xavier 模塊數(shù)據(jù)表 和 Jetson AGX Xavier OEM 產(chǎn)品設(shè)計指南 了解表 1 中列出的全部產(chǎn)品功能，此外還有 eleCTR 機械規(guī)范、模塊引腳輸出、電源順序和信號布線指南。

Jetson AGX Xavier 包括超過 750Gbps 的高速 I / O ，為流式傳感器和高速外圍設(shè)備提供了超常的帶寬。它是最早支持 PCIe Gen 4 的嵌入式設(shè)備之一，在五個 PCIe Gen 4 控制器上提供 16 個通道，其中三個控制器可以在根端口或端點模式下運行。 16 個 MIPI CSI-2 通道可連接到 4 個 4 通道攝像頭、 6 個 2 通道攝像頭、 6 個 1 通道攝像頭，或這些配置的組合（最多 6 個攝像頭）， 36 個虛擬通道允許使用流聚合同時連接更多攝像頭。其他高速 I / O 包括三個 USB 3 。 1 端口、 SLVS-EC 、 UFS 和用于千兆以太網(wǎng)的 RGMII 。開發(fā)者現(xiàn)在可以訪問 NVIDIA 的 JetPack 4 。 1 。 1 開發(fā)者預(yù)覽 軟件，用于 Jetson AGX Xavier ，如表 2 所示。開發(fā)者預(yù)覽版包括 Linux For Tegra （ L4T ） R31 。 1 Board Support Package （ BSP ），目標系統(tǒng)支持 Linux 內(nèi)核 4 。 9 和 Ubuntu18 。 04 。在主機端， Jetpack4 。 1 。 1 支持 Ubuntu16 。 04 和 Ubuntu18 。 04 。

Jetpack4 。 1 。 1 開發(fā)者預(yù)覽版允許開發(fā)者立即使用 Jetson AGX Xavier 開始產(chǎn)品和應(yīng)用程序的原型制作，為生產(chǎn)部署做準備。 NVIDIA 將繼續(xù)對 JetPack 進行改進，并提供額外的功能增強和性能優(yōu)化。請閱讀 發(fā)行說明 了解本版本的亮點和軟件狀態(tài)。

Volta GPU

如圖 3 所示， Jetson AGX Xavier 集成 Volta GPU 提供 512 個 CUDA 核和 64 個張量核心，可用于高達 11 TFLOPS FP16 或 22 個 INT8 compute 頂部，最大時鐘頻率為 1 。 37GHz 。它支持計算能力為 sm _的 CUDA 10 ， GPU 包括 8 個 Volta 流式多處理器（ sm ），每個 Volta sm 有 64 個 CUDA 核和 8 個張量核。每個 Volta SM 都包括一個 128KB 的 L1 緩存，比前幾代大 8 倍。 SMs 共享一個 512KB 的二級緩存，訪問速度比前幾代快 4 倍。

圖 3 。 Jetson AGX Xavier 電壓 GPU 方框圖

每個 SM 由 4 個獨立的處理塊組成，稱為 SMPs （流式多處理器分區(qū)），每個處理塊包括自己的 L0 指令緩存、 warp 調(diào)度器、調(diào)度單元和寄存器文件，以及 CUDA 內(nèi)核和 Tensor 內(nèi)核。每個 SM 的 smp 數(shù)量是 Pascal 的兩倍， Volta SM 的特點是改進了并發(fā)性，并且支持更多的線程、扭曲和線程塊。

張量核

NVIDIA 張量核心是可編程的融合矩陣乘法和累加單元，它們與 CUDA 核心并行執(zhí)行。張量核實現(xiàn)了新的浮點 HMMA （半精度矩陣乘法和累加）和 IMMA （整數(shù)矩陣乘法和累加）指令，用于加速密集線性代數(shù)計算、信號處理和深度學習推理。

圖 4 。張量核 HMMA / IMMA 4x4x4 矩陣乘法和累加

矩陣乘法輸入 A 和 B 是 HMMA 指令的 FP16 矩陣，而累加矩陣 C 和 D 可以是 FP16 或 FP32 矩陣。對于 IMMA ，矩陣乘法輸入 A 是有符號或無符號的 INT8 或 INT16 矩陣， B 是有符號或無符號的 INT8 矩陣， C 和 D 累加器矩陣都是有符號 INT32 。因此，精度和計算范圍足以避免內(nèi)部積累期間的溢出和下溢情況。

NVIDIA 庫包括 cuBLAS 、 cuDNN 和 TensorRT 已被更新，以在內(nèi)部利用 HMMA 和 IMMA ，使程序員能夠輕松地利用張量核固有的性能增益。用戶還可以通過在 wmma 名稱空間和 CUDA 10 中包含的 mma 。 h 頭文件中公開的新 API ，直接訪問 warp 級別的 Tensor 核心操作。 warp 級別的接口在每個 warp 的所有 32 個線程上映射 16 × 16 、 32 × 8 和 8 × 32 大小的矩陣。

深度學習加速器

Jetson AGX Xavier 具有兩個 NVIDIA 深度學習加速器 （ DLA ）引擎，如圖 5 所示，它們減輕了固定函數(shù)卷積神經(jīng)網(wǎng)絡(luò)（ CNN ）的推理。這些引擎提高了能源效率，并釋放了 GPU 來運行更復(fù)雜的網(wǎng)絡(luò)和用戶執(zhí)行的動態(tài)任務(wù)。 NVIDIA DLA 硬件體系結(jié)構(gòu)是開源的，可從 NVDLA 。 org 網(wǎng)站 獲得。每個 DLA 具有高達 5 個 TOP INT8 或 2 。 5 TFLOPS FP16 性能，功耗僅為 0 。 5-1 。 5W 。 DLA 支持加速 CNN 層，如卷積、反褶積、激活函數(shù)、最小/最大/平均池、本地響應(yīng)規(guī)范化和完全連接層。

圖 5 。深度學習加速器（ DLA ）架構(gòu)框圖

DLA 硬件由以下組件組成：

卷積核心 – 優(yōu)化的高性能卷積引擎。

單數(shù)據(jù)處理器 – 激活功能的單點查找引擎。

平面數(shù)據(jù)處理器 – 用于池的平面平均引擎。

通道數(shù)據(jù)處理器–用于高級標準化功能的多通道平均引擎。

專用內(nèi)存和數(shù)據(jù)整形引擎 – 用于張量整形和復(fù)制操作的內(nèi)存到內(nèi)存轉(zhuǎn)換加速。

開發(fā)人員使用 TensorRT 5 。 0 編程 DLA 引擎，在網(wǎng)絡(luò)上執(zhí)行推斷，包括對 AlexNet 、 GoogleNet 和 ResNet-50 的支持。對于使用 DLA 不支持的層配置的網(wǎng)絡(luò)， TensorRT 為無法在 DLA 上運行的層提供 GPU 回退。 Jetpack4 。 0 開發(fā)者預(yù)覽版最初將 DLA 的精度限制在 FP16 模式，在未來的 JetPack 版本中， DLA 的 INT8 精度和更高的性能將會出現(xiàn)。

TensorRT 5 。 0 在其 IBuilder 接口中添加了以下 API 以啟用 DLA ：

setDeviceType（） 和 setDefaultDeviceType（） 用于選擇 GPU 、 DLA ? 0 或 DLA ? 1 以執(zhí)行特定層，或默認情況下用于網(wǎng)絡(luò)中的所有層。

canRunOnDLA（） 檢查層是否可以按配置在 DLA 上運行。

getMaxDLABatchSize（） 用于檢索 DLA 可以支持的最大批處理大小。

allowGPUFallback（） 使 GPU 能夠執(zhí)行 DLA 不支持的層。

請參考 TensorRT 5 。 0 開發(fā)人員指南 的第 6 章，了解 TensorRT 中支持的層配置和使用 DLA 的代碼示例的完整列表。

深度學習推斷基準

我們已經(jīng)為 GPU AGX Xavier 發(fā)布了 深度學習推斷基準結(jié)果 ，這些 dnn 包括 ResNet 、 GoogleNet 和 VGG 的變體。我們在 Jetson AGX Xavier 的 Jetson 和 DLA 引擎上使用 jetpack4 。 1 。 1 開發(fā)者預(yù)覽版 TensorRT 5 。 0 為 Jetson AGX Xavier 運行這些基準測試。 GPU 和兩個 dla 分別以 INT8 和 FP16 精度并行運行相同的網(wǎng)絡(luò)體系結(jié)構(gòu)，并報告每個配置的總體性能。 GPU 和 dla 可以在現(xiàn)實世界的用例中同時運行不同的網(wǎng)絡(luò)或網(wǎng)絡(luò)模型，以并行方式或在處理管道中彼此并行地提供獨特的功能。在 TensorRT 中使用 INT8 與全 FP32 精度相比，會導(dǎo)致精度損失 1% 或更少。

首先，讓我們考慮一下 ResNet-18fcn （ Fully-compolutional Network ）的結(jié)果，它是一個用于語義分割的 2048 × 1024 分辨率的全高清模型。分段為自由空間檢測和占用率映射等任務(wù)提供了每像素分類，并代表了由自主機器計算的用于感知、路徑規(guī)劃和導(dǎo)航的深度學習工作負載。圖 6 顯示了在 Jetson AGX Xavier 和 Jetson TX2 上運行 ResNet-18 FCN 的測量吞吐量。

圖 6 。 ResNet-18 FCN 推斷 Jetson AGX Xavier 和 Jetson TX2 的吞吐量

Jetson AGX Xavier 目前在 ResNet-18 FCN 推理中的性能是 Jetson TX2 的 13 倍。 NVIDIA 將繼續(xù)在 JetPack 中發(fā)布軟件優(yōu)化和功能增強，隨著時間的推移，將進一步提高性能和功率特性。請注意， 基準結(jié)果 的完整列表報告了 Jetson AGX Xavier 的 ResNet-18 FCN 的性能，但在圖 7 中，我們只繪制了批量大小為 16 的 ResNet-18 FCN ，因為 Jetson TX2 能夠運行 ResNet-18 FCN ，最大批量為 16 。

圖 7 。 ResNet-18 FCN 推斷 Jetson AGX Xavier 和 Jetson TX2 的能量效率

當考慮使用每秒處理的每瓦特圖像的能效時， Jetson AGX Xavier 目前比 ResNet-18 FCN 的 Jetson TX2 高 6 倍。我們通過使用板載 INA 電壓和電流監(jiān)測器測量總模塊功耗來計算效率，包括 CPU 、 GPU 、 DLA 、內(nèi)存、其他 SoC 功率、 I / O 和所有軌道上的調(diào)節(jié)器效率損失。兩臺 Jetson 都在 15W 電源模式下運行。 Jetson AGX Xavier 和 JetPack 飛船，具有 10W 、 15W 和 30W 的可配置預(yù)設(shè)功率配置文件，可在運行時使用 nvpmodel 電源管理工具進行切換。用戶還可以使用不同的時鐘和 DVFS （動態(tài)電壓和頻率縮放）調(diào)速器設(shè)置來定義自己的自定義配置文件，這些設(shè)置已經(jīng)過定制，以實現(xiàn)單個應(yīng)用的最佳性能。

接下來，讓我們比較一下圖像識別網(wǎng)絡(luò) ResNet-50 和 VGG19 上的 Jetson AGX Xavier 基準測試，這些基準測試的批量大小從 1 到 128 與 Jetson TX2 。這些模型對分辨率為 224 × 224 的圖像塊進行分類，常用作各種目標檢測網(wǎng)絡(luò)中的編碼器主干。在較低分辨率下使用 8 或更高的批處理大小可用于近似處理較高分辨率下批大小為 1 的性能和延遲。機器人平臺和自主機器通常包含多個攝像機和傳感器，除了執(zhí)行感興趣區(qū)域（ ROI ）的檢測，然后分批對 ROI 進行進一步分類，這些攝像頭和傳感器可以批量處理以提高性能。圖 8 還包括對 Jetson AGX Xavier 未來性能的估計，包括軟件增強功能，如 INT8 對 DLA 的支持和 GPU 的其他優(yōu)化。

圖 8 。 INT8 支持 DLA 和其他 GPU 優(yōu)化后的估計性能

Jetson AGX Xavier 目前在 VGG19 上的 Jetson TX2 和 ResNet-50 上的吞吐量分別達到 18 倍和 14 倍，如圖 9 所示。延遲為 65 。 5 秒，或凈大小為 65 。 5 秒/秒。隨著未來軟件的改進， Jetson AGX Xavier 預(yù)計將比 Jetson TX2 快 24 倍。請注意，對于遺留比較，我們還提供了完整的 性能列表 中的 GoogleNet 和 AlexNet 的數(shù)據(jù)。

圖 9 。 Jetson Xavier 和 Jetson TX2 的 ResNet-50 和 VGG19 能效

Jetson AGX Xavier 目前在 VGG19 推理方面的效率比 Jetson TX2 高 7 倍多，使用 ResNet-50 的效率高 5 倍，考慮到未來的軟件優(yōu)化和增強，效率提高了 10 倍。參考完整的 績效結(jié)果 來獲取更多的數(shù)據(jù)和關(guān)于推斷基準的細節(jié)。我們還將在下一節(jié)中對 CPU 的性能進行基準測試。

卡梅爾 CPU 復(fù)合體

圖 10 所示的 Jetson AGX Xavier 的 CPU 復(fù)合體由四個基于 ARMv8 。 2 的異構(gòu)雙核 NVIDIA CarmelCPU 簇組成，最大時鐘頻率為 2 。 26GHz 。每個核心包括 128KB 指令和 64KB 數(shù)據(jù)一級緩存，以及兩個內(nèi)核之間共享的 2MB 二級緩存。 CPU 集群共享一個 4MB 的 L3 緩存。

關(guān)于作者

Dustin Franklin 是 NVIDIA 的 Jetson 團隊的開發(fā)人員布道者。 Dustin 擁有機器人和嵌入式系統(tǒng)方面的背景，他樂于在社區(qū)中提供幫助，并與 Jetson 一起參與項目。你可以在 NVIDIA Developer Forums 或 Github 上找到他。

審核編輯：郭婷