NVIDIA 發(fā)布了JetPack 3.1,這是用于 Jetson TX1 和 TX2 的生產(chǎn) Linux 軟件版本。隨著對(duì) TensorRT 2.1 和 cuDNN 6.0 的升級(jí),JetPack 3.1 為視覺(jué)引導(dǎo)導(dǎo)航和運(yùn)動(dòng)控制等實(shí)時(shí)應(yīng)用提供了高達(dá) 2 倍的深度學(xué)習(xí)推理性能提升,這些應(yīng)用受益于加速的批量大小 1。改進(jìn)的功能使 Jetson 能夠部署比以往任何時(shí)候都更強(qiáng)大的智能,實(shí)現(xiàn)一代自主機(jī)器,包括送貨機(jī)器人、遠(yuǎn)程呈現(xiàn)和視頻分析。為了進(jìn)一步推動(dòng)機(jī)器人技術(shù)的發(fā)展,NVIDIA 最近推出的 Isaac Initiative 是一個(gè)端到端平臺(tái),用于在該領(lǐng)域訓(xùn)練和部署高級(jí) AI。
邊緣的人工智能
今年春天早些時(shí)候,當(dāng) NVIDIA 推出Jetson TX2時(shí),事實(shí)上的邊緣計(jì)算平臺(tái)在功能上得到了顯著提升。如圖 1 中的 Wave Glider 平臺(tái)所示,位于網(wǎng)絡(luò)邊緣的遠(yuǎn)程物聯(lián)網(wǎng) (IoT) 設(shè)備經(jīng)常會(huì)遇到網(wǎng)絡(luò)覆蓋、延遲和帶寬下降的情況。雖然物聯(lián)網(wǎng)設(shè)備通常用作將數(shù)據(jù)中繼到云的網(wǎng)關(guān),但邊緣計(jì)算通過(guò)訪問(wèn)安全的板載計(jì)算資源重新構(gòu)建了物聯(lián)網(wǎng)的可能性。NVIDIA 的 Jetson 嵌入式模塊在 Jetson TX1 上以 1 TFLOP/s 的速度提供服務(wù)器級(jí)性能,并在 10W 的功率下將 Jetson TX2 上的 AI 性能提高一倍。
噴氣背包 3.1
JetPack 3.1 with Linux For Tegra (L4T) R28.1 是 Jetson TX1 和 TX2 的生產(chǎn)軟件版本,具有長(zhǎng)期支持 (LTS)。TX1 和 TX2 的 L4T 板級(jí)支持包 (BSP) 適用于客戶產(chǎn)品化,其共享的 Linux 內(nèi)核 4.4 代碼庫(kù)提供了兩者之間的兼容性和無(wú)縫移植。從 JetPack 3.1 開(kāi)始,開(kāi)發(fā)人員可以在 TX1 和 TX2 上訪問(wèn)相同的庫(kù)、API 和工具版本。
除了從 cuDNN 5.1 升級(jí)到 6.0 以及對(duì) CUDA 8 的維護(hù)更新之外,JetPack 3.1 還包括用于構(gòu)建流應(yīng)用程序的最新視覺(jué)和多媒體 API。您可以將 JetPack 3.1 下載到您的主機(jī) PC,以使用最新的 BSP 和工具刷新 Jetson。
使用 TensorRT 2.1 進(jìn)行低延遲推理
JetPack 3.1 中包含最新版本的 TensorRT,因此您可以在 Jetson 上部署優(yōu)化的運(yùn)行時(shí)深度學(xué)習(xí)推理。TensorRT 通過(guò)網(wǎng)絡(luò)圖優(yōu)化、內(nèi)核融合和半精度 FP16 支持提高了推理性能。TensorRT 2.1 包括關(guān)鍵功能和增強(qiáng)功能,例如多權(quán)重批處理,可進(jìn)一步提高 Jetson TX1 和 TX2 的深度學(xué)習(xí)性能和效率并減少延遲。
批量大小 1 的性能已顯著提高,從而將 GoogLeNet 的延遲降低到 5 毫秒。對(duì)于延遲敏感的應(yīng)用程序,批量大小 1 提供最低延遲,因?yàn)槊總€(gè)幀一到達(dá)系統(tǒng)就會(huì)被處理(而不是等待批量處理多個(gè)幀)。如圖 2 所示,在 Jetson TX2 上,使用 TensorRT 2.1 在 GoogLeNet 和 ResNet 圖像識(shí)別推理方面的吞吐量是 TensorRT 1.0 的兩倍。
圖 2:使用 Jetson TX2 Max-Q 和 Max-P 功率曲線的 GoogLeNet 和 ResNet-50 的推理吞吐量。TensorRT 2.1 在 GoogleLeNet 和 ResNet 上提供兩倍的推理吞吐量。
表 2 中的延遲顯示隨著批量大小 1 的成比例減少。使用 TensorRT 2,Jetson TX2 在 Max-P 性能配置文件中實(shí)現(xiàn)了 5ms 的 GoogLeNet 延遲,在 Max-Q 效率配置文件中實(shí)現(xiàn)了 7ms 的延遲。ResNet-50 在 Max-P 中具有 12.2ms 的延遲,在 Max-Q 中具有 15.6ms 的延遲。ResNet 通常用于提高圖像分類(lèi)的準(zhǔn)確性,超越 GoogLeNet,使用 TensorRT 2.1 可將運(yùn)行時(shí)性能提高 2 倍以上。借助 Jetson TX2 的 8GB 內(nèi)存容量,即使在 ResNet 等復(fù)雜網(wǎng)絡(luò)上也可以實(shí)現(xiàn)高達(dá) 128 的大批量。
減少的延遲允許深度學(xué)習(xí)推理方法用于需要近實(shí)時(shí)響應(yīng)的應(yīng)用程序,例如高速無(wú)人機(jī)和水面車(chē)輛的防撞和自主導(dǎo)航。
自定義圖層
通過(guò)用戶插件 API 支持自定義網(wǎng)絡(luò)層,TensorRT 2.1 能夠運(yùn)行最新的網(wǎng)絡(luò)和擴(kuò)展支持的功能,包括殘差網(wǎng)絡(luò) (ResNet)、循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN)、你只看一次 (YOLO) 和更快-RCNN(區(qū)域卷積神經(jīng)網(wǎng)絡(luò))。自定義層在用戶定義的 C++ 插件中實(shí)現(xiàn),這些插件實(shí)現(xiàn)IPlugin了如下代碼中的接口。
#include "NvInfer.h" 使用 , *緩沖區(qū));
IPlugin您可以使用與上述代碼類(lèi)似的自定義來(lái)構(gòu)建自己的共享對(duì)象。在用戶enqueue()函數(shù)內(nèi)部,您可以使用 CUDA 內(nèi)核實(shí)現(xiàn)自定義處理。TensorRT 2.1 使用這種技術(shù)來(lái)實(shí)現(xiàn)Faster-RCNN插件以增強(qiáng)對(duì)象檢測(cè)。此外,TensorRT 為長(zhǎng)短期記憶 (LSTM)單元和門(mén)控循環(huán)單元 (GRU)提供了新的 RNN 層,以改進(jìn)基于記憶的時(shí)序序列識(shí)別。開(kāi)箱即用地提供這些強(qiáng)大的新層類(lèi)型可加速您在嵌入式邊緣應(yīng)用程序中部署高級(jí)深度學(xué)習(xí)應(yīng)用程序。
NVIDIA 艾薩克計(jì)劃
隨著邊緣 AI 功能的快速增長(zhǎng),NVIDIA 推出了 Isaac Initiative 以推進(jìn)機(jī)器人技術(shù)和 AI 的最新發(fā)展。Isaac是一個(gè)端到端機(jī)器人平臺(tái),用于開(kāi)發(fā)和部署智能系統(tǒng)到現(xiàn)場(chǎng),包括模擬、自主導(dǎo)航堆棧和用于部署的嵌入式 Jetson。為了開(kāi)始開(kāi)發(fā)自主 AI,Isaac 支持圖 3 所示的機(jī)器人參考平臺(tái)。這些由 Jetson 提供動(dòng)力的平臺(tái)包括無(wú)人機(jī)、無(wú)人地面車(chē)輛 (UGV)、無(wú)人水面車(chē)輛 (USV) 和人類(lèi)支持機(jī)器人 (HSR)。參考平臺(tái)提供了一個(gè)由 Jetson 驅(qū)動(dòng)的基礎(chǔ),可以在現(xiàn)場(chǎng)進(jìn)行實(shí)驗(yàn),并且該計(jì)劃將隨著時(shí)間的推移而擴(kuò)展,以包括新的平臺(tái)和機(jī)器人。
開(kāi)始部署 AI
JetPack 3.1 包括 cuDNN 6 和 TensorRT 2.1。它現(xiàn)在可用于 Jetson TX1 和 TX2。憑借將單批次推理的低延遲性能提高一倍,并支持具有自定義層的新網(wǎng)絡(luò),Jetson 平臺(tái)比以往任何時(shí)候都更有能力進(jìn)行邊緣計(jì)算。
關(guān)于作者
Dustin 是 NVIDIA Jetson 團(tuán)隊(duì)的一名開(kāi)發(fā)人員推廣員。Dustin 擁有機(jī)器人技術(shù)和嵌入式系統(tǒng)方面的背景,喜歡在社區(qū)中提供幫助并與 Jetson 合作開(kāi)展項(xiàng)目。
審核編輯:郭婷
-
機(jī)器人
+關(guān)注
關(guān)注
210文章
27839瀏覽量
204620 -
NVIDIA
+關(guān)注
關(guān)注
14文章
4793瀏覽量
102433
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論