NVIDIA Jetson-Xavier NX開發(fā)工具包的應

NVIDIA 發(fā)布了基于 Jetson Xavier NX 模塊的 NVIDIA Jetson Xavier NX 開發(fā)工具包 。 Jetson Xavier NX 以低于 15W 的功率，以緊湊的外形提供多達 21 臺計算之巔，為邊緣AI設備和自主機器帶來服務器級性能和云原生工作流。

借助 Jetson Xavier NX 開發(fā)者工具包，您可以創(chuàng)建令人驚嘆的人工智能驅(qū)動應用程序，并快速將深度神經(jīng)網(wǎng)絡（ DNN ）模型和流行的機器學習框架部署到該領域。 NVIDIA JetPack 4 . 4 開發(fā)者預覽版 的初始軟件支持包括 CUDA Toolkit 10 . 2 和 cuDNN 8 . 0 、 TensorRT 7 . 1 和 DeepStream 5 . 0 的預覽版，以及用于機器學習的新 Docker 容器和預訓練的 DNN 模型。

Jetson Xavier NX 基于 NVIDIA 開創(chuàng)性的 Xavier SoC ，可以并行運行多個復雜模型和多個高清傳感器流。它包括以下功能：

具有 48 色張量的集成 NVIDIA volta384 核 Volta GPU

兩個 NVIDIA 深度學習加速器引擎

七路 VLIW 視覺加速器

六核 NVIDIA Carmel 64 位 ARMv8 . 2 CPU

8-GB 128-bit LPDR4x

為了進一步簡化邊緣人工智能應用程序在生產(chǎn)環(huán)境中的部署， 預訓練模型 將云原生技術引入 Jetson ，包括基于 Docker 的集裝箱化，以及 Kubernetes 等硬件傳遞和編排服務，以及 NVIDIA NGC 注冊表提供的 預訓練模型 和 NVIDIA 。

Jetson Xavier NX 開發(fā)工具包

Jetson Xavier NX 開發(fā)工具包捆綁了一個開源的 參考載體板 和預裝配的散熱片/風扇，如圖 2 所示，包括 19V 電源和基于 M.2 的 802.11 WLAN + BT 模塊。除了可引導 microSD 卡插槽外，在載體底部還提供了一個 M . 2 Key-M NVMe 插槽，用于擴展高速存儲。

因為 Xavier NX 模塊向后兼容 Jetson Nano （ B01 ），它們的載體板有一些共同點 – 還包括雙 MIPI CSI 攝像頭連接器，以及四個 USB 3.1 端口、 HDMI 、 DisplayPort 、千兆以太網(wǎng)和一個 40 針 GPIO 頭。

套件載體板的主要特性和接口如表 1 所示。有關 Jetson Xavier NX 計算模塊的核心處理能力和規(guī)格的更多信息，請參閱 介紹世界上最小的人工智能超級計算機 Jetson Xavier NX post 和 Jetson Xavier NX 模塊數(shù)據(jù)表 。

表 1 . Jetson Xavier NX 開發(fā)者工具包載體板連接和接口。

Jetpack4 . 4 開發(fā)者預覽版

NVIDIA JetPack SDK 包含在Jetson上構建AI應用程序的庫、工具和核心操作系統(tǒng)。Jetpack4.4開發(fā)者預覽版增加了對JetsonXavierNX的支持。它包括CUDA Toolkit 10.2以及cuDNN 8.0、TensorRT 7.1、DeepStream 5.0的預覽版，以及用于部署云原生服務的NVIDIA容器運行時，以及表2中所示的其他組件。 為流行的機器學習框架（如TensorFlow和Pythorch）預構建的包安裝程序也可以在 Jetson ZOO 獲取 , 還有 NGC 上 JetPack 的新框架容器

表 2 . NVIDIA Jetpack4 . 4 開發(fā)者預覽版 SDK 中可用的軟件組件。

為 Jetson Xavier NX 、 Jetson AGX Xavier 、 Jetson TX1 / TX2 和 Jetson Nano 下載 Jetpack4 . 4 開發(fā)者預覽版 。在收到新的 Jetson Xavier NX 開發(fā)工具包后，請按照 入門 指南中的說明，使用 JetPack 映像閃存 microSD 卡。

這個開發(fā)者預覽版可以用來安裝和運行 Jetson Xavier NX 開發(fā)者工具包并開始應用程序開發(fā)，而生產(chǎn) Jetpack4 . 4SDK 計劃在今年夏天晚些時候發(fā)布。安裝 JetPack 之后，您可以跟隨一些 AI 驅(qū)動的 Jetson 社區(qū)項目 。

深度學習推斷基準

Jetson 可用于將廣泛流行的 DNN 模型和 ML 框架部署到邊緣，并具有高性能的推斷，用于實時分類和目標檢測、姿勢估計、語義分割和自然語言處理（ NLP ）等任務。

JetPack SDK 和 NVIDIA CUDA -X 對 Jetson 和 NVIDIA 離散的 GPU 的共同支持意味著您可以輕松地將性能和尺寸、重量和功耗（交換）消耗降低到 5W ，而無需重新編寫應用程序。圖 3 顯示了 Jetson Nano 上流行的視覺 DNN 的推斷基準， Jetson TX2 、 Jetson Xavier NX 和 Jetson AGX Xavier 以及 Jetpack4 . 4 開發(fā)者預覽版和 TensorRT 7 . 1 。這些結果可以通過從 GitHub 運行開放的 jetson_benchmarks 項目來復制。

圖 3 。用 TensorRT 來推斷 Jetson 家族中各種基于視覺的 DNN 模型的性能。

在 Jetson Xavier NX 和 Jetson AGX Xavier 上， NVIDIA 深度學習加速器（ NVDLA ）發(fā)動機和 GPU 同時以 INT8 精度運行，而在 Jetson Nano 和 Jetson TX2 上， GPU 以 FP16 精度運行。 Jetson Xavier NX 的性能比 Jetson TX2 高 10 倍，功耗相同，占地面積小 25% 。

在這些基準測試期間，每個平臺都以最高性能運行（ MAX-N 模式用于 Jetson AGX Xavier ， Xavier NX 和 TX2 為 15W ， Nano 為 10W ）。這些基于視覺的任務的最大吞吐量是在批大小不超過 15ms 的延遲閾值的情況下獲得的。 – 否則，對于平臺超過此延遲閾值的網(wǎng)絡，批處理大小為 1 。這種方法在實時應用程序的確定性低延遲需求和多流用例場景的最大性能之間提供了平衡。

我們還為 BERT 提供問題回答方面的基準測試結果。 BERT 是一種多功能架構，在多個 NLP 任務（包括 QA 、意圖分類、情感分析、翻譯、名稱/實體識別、釋義、推薦系統(tǒng)、自動完成）中得到了廣泛的應用，還有更多。

TensorRT 傳統(tǒng)上過于復雜，無法在本地部署機載邊緣設備，尤其是 BERT 大型變體。然而，在 BERT 中包含 BERT 的張量核心優(yōu)化后， BERT 可以很容易地在 Jetson Xavier NX 和 Jetson AGX Xavier 上運行。

將 BERT 部署到邊緣對于低延遲、智能人機交互（ HMI ）和會話式人工智能非常有用，正如本文后面的多容器演示的 chatbot 部分一樣，它也在本地執(zhí)行自動語音識別（ ASR ），而不依賴云連接。

圖 4 。 BERT Base 和 BERT 在回答問題時的運行時性能很高，使用 NLP 任務的 50ms 延遲閾值。

圖 4 顯示了 BERT Base 和 BERT Large 在回答問題時的運行時性能，使用了 NLP 任務的 50ms 延遲閾值。這些結果是以每秒的順序來衡量的，其中每一個文本序列都是 BERT 回答的一個查詢或問題。 BERT 在 Jetson 上的性能為用戶提供了近乎即時的反饋，延遲低至 5 . 9ms ，這使得 BERT 處理可以與視頻等其他實時處理流同時執(zhí)行。

將云計算原生方法帶到邊緣

到目前為止，嵌入式和邊緣設備的軟件都是以單片系統(tǒng)的形式編寫的。升級單片軟件映像的復雜性增加了 bug 的風險，并使更新的節(jié)奏難以加快。對于具有人工智能的邊緣設備來說，這一點尤其有問題，它需要頻繁更新以維持快速的能力改進?，F(xiàn)代對敏捷能力和零停機時間持續(xù)創(chuàng)新的期望要求改變嵌入式和邊緣設備軟件的開發(fā)和部署方式。

在邊緣采用云本地的范例，如微服務、容器化和容器編排是前進的方向。

微服務架構、容器化和編排使云應用程序能夠擺脫單一工作流的約束。現(xiàn)在， Jetson 正在將云原生轉換思想引入 AI 邊緣設備。

Jetson 是領先的人工智能邊緣計算平臺，擁有近 50 萬開發(fā)者。它由 JetPack SDK 提供支持，該 SDK 具有與世界各地數(shù)據(jù)中心和工作站相同的 CUDA -X 加速計算堆棧和 NVIDIA 容器運行時。

通過 Jetson 的幾個開發(fā)和部署容器、容器化框架和托管在 NVIDIA NGC 上的預先訓練的 AI 模型，它可以作為 AI 應用程序開發(fā)的構建塊。最新的 Jetson Xavier NX 以盡可能小的外形尺寸實現(xiàn)全功能、多模式人工智能應用。

我們歡迎使用云本地技術，使客戶具有擴展業(yè)務所需的生命周期靈活性?？蓴U展軟件開發(fā)加快了上市時間。為什么？因為當您不必同時更新其他應用程序組件時，更新產(chǎn)品生命周期的過程會變得不那么繁重。

多容器演示

Jetson Xavier NX 的 NVIDIA 多容器演示 展示了使用云本地方法開發(fā)和部署服務機器人 AI 應用程序的過程。服務機器人是一種自主機器人，通常與零售、酒店、醫(yī)療保健或倉庫中的人互動。

視頻。 Jetson Xavier NX 的云原生多容器演示，并行運行七個深度學習模型。

考慮一個服務機器人，它的目的是通過與購物者交互來改善零售百貨公司的客戶服務。機器人只有在能夠執(zhí)行包括人體識別、交互檢測、人體姿態(tài)檢測、語音檢測和自然語言處理在內(nèi)的許多計算任務時，才能為客戶的查詢提供有用的答案。機器人必須運行支持這些功能所需的多個人工智能模型。

有了云原生方法，人工智能模型可以獨立開發(fā)，包含所有依賴項的容器化，并部署到任何 Jetson 設備上。

該演示程序在 Jetson Xavier NX 上同時運行四個容器，具有七個深度學習模型，包括姿勢估計、面部和凝視檢測、人物計數(shù)、語音識別和 BERT 問答。結果是，這些服務構建塊容器可以輕松地修改和重新部署，而不會造成中斷，從而提供零停機時間和無縫更新體驗。

在沒有犧牲所有數(shù)據(jù)流的計算能力的情況下，[zd-9]提供了一個傳感器的計算能力。您可以使用 NGC 上托管的容器從 NVIDIA-AI-IOT/jetson-cloudnative-demo GitHub repo 下載演示。

在邊緣計算領域?qū)崿F(xiàn)下一個飛躍

計算性能、緊湊、省電的外形和全面的軟件支持使 Jetson Xavier NX Developer Kit 成為創(chuàng)建高級 AI 驅(qū)動應用程序并部署到邊緣的理想平臺。

關于作者

達斯汀是 NVIDIA 的 Jetson 團隊的開發(fā)人員布道者。 Dustin 擁有機器人和嵌入式系統(tǒng)方面的背景，他樂于在社區(qū)中提供幫助，并與 Jetson 一起參與項目。

Suhas Sheshadri 是 NVIDIA 的產(chǎn)品經(jīng)理，專注于 Jetson 軟件。此前，他曾在 NVIDIA 與自主駕駛團隊合作，為 NVIDIA 驅(qū)動平臺優(yōu)化系統(tǒng)軟件。在業(yè)余時間，蘇哈斯喜歡讀量子物理學和博弈論方面的書籍。

Sarah Todd 是 NVIDIA 嵌入式團隊的營銷經(jīng)理。 Sarah 對推動人工智能應用程序?qū)崿F(xiàn)真正的解決方案非常感興趣，她負責邊緣技術的營銷，包括與 Jetson 平臺相關的軟件和硬件、自主機器和 NVIDIA 機器人技術。

Dustin Franklin 是 NVIDIA 的 Jetson 團隊的開發(fā)人員布道者。 Dustin 擁有機器人和嵌入式系統(tǒng)方面的背景，他樂于在社區(qū)中提供幫助，并與 Jetson 一起參與項目。你可以在 NVIDIA Developer Forums 或 Github 上找到他。

Suhas Sheshadri 是 NVIDIA 的產(chǎn)品經(jīng)理，專注于 Jetson 軟件。此前，他曾在 NVIDIA 與自主駕駛團隊合作，為 NVIDIA 驅(qū)動平臺優(yōu)化系統(tǒng)軟件。

審核編輯：郭婷