NVIDIA TAO 工具套件提供了一個低代碼 AI 框架,無論是新手還是數(shù)據(jù)科學(xué)專家都可以使用這個平臺加速視覺 AI 模型開發(fā)。有了 TAO 工具套件,開發(fā)人員可以進行遷移學(xué)習(xí),通過適應(yīng)和優(yōu)化,在短時間內(nèi)達到最先進的精度和生產(chǎn)級吞吐量。
NVIDIA 發(fā)布了 NVIDIA TAO 套件 5.0 ,帶來了 AI 模型開發(fā)方面的突破性功能提升。新功能包括開源架構(gòu)、基于 Transformer 的預(yù)訓(xùn)練模型、AI 輔助的數(shù)據(jù)標(biāo)注,以及在任何平臺上部署模型的能力。
發(fā)布亮點包括:
-
以開放的 ONNX 格式導(dǎo)出模型,支持在 GPU、CPU、MCU、神經(jīng)加速器等設(shè)備上部署。
-
先進的視覺 Transformer 訓(xùn)練,可提高準(zhǔn)確性和魯棒性,防止圖像損壞和噪聲。
-
新增 AI 輔助數(shù)據(jù)注釋,加快了分割掩碼的標(biāo)記任務(wù)。
-
支持例如光學(xué)字符檢測和連體網(wǎng)絡(luò)模型等用于光學(xué)檢測的新型計算機視覺任務(wù)和預(yù)訓(xùn)練模型。
-
開放源代碼,可提供定制解決方案,加快開發(fā)和集成速度。
使用指南:
圖 1:NVIDIA TAO 工具套件工作流程圖
在任何平臺、任何位置部署 NVIDIA TAO
NVIDIA TAO 工具套件 5.0 支持 ONNX 模型導(dǎo)出。無論是 GPU 、CPU 、MCU 、DLA 還是 FPGA 的邊緣或云上的任何計算平臺,都可以部署使用 NVIDIA TAO 工具套件訓(xùn)練的模型。NVIDIA TAO 工具套件簡化了模型訓(xùn)練過程,優(yōu)化了模型的推理吞吐量,為數(shù)千億臺設(shè)備的 AI 提供了動力。
圖 2:NVIDIA TAO 工具套件體系
用于構(gòu)建、完善和部署機器學(xué)習(xí)模型和算法的平臺 Edge Impulse 將 TAO 工具套件集成到其邊緣 AI 平臺中。通過整合,Edge Impulse 現(xiàn)在可以提供先進的視覺 AI 功能和模型,并對其現(xiàn)有產(chǎn)品進行補充。開發(fā)者可以利用 TAO,使用該平臺為任何邊緣設(shè)備構(gòu)建生產(chǎn)型 AI。
視頻 1. 利用NVIDIATAO 并部署在Cortex-M7 MCU 上的
Edge Impulse 平臺訓(xùn)練 AI 模型
全球領(lǐng)先的嵌入式微控制器制造商意法半導(dǎo)體,將 TAO 集成到其 STM32Cube AI 開發(fā)者工作流程中。借助 TAO,該公司能夠在 STM32 微控制器驅(qū)動的各種物聯(lián)網(wǎng)和邊緣用例中,根據(jù)它們的最大算力和內(nèi)存運行各種復(fù)雜 AI 功能。
有了 NVIDIA TAO 工具套件,即使是 AI 新手也可以在微控制器的計算和內(nèi)存預(yù)算內(nèi)優(yōu)化和量化 AI 模型,使其在 STM32 MCU 上運行。開發(fā)人員還可以導(dǎo)入自己的模型,并使用 TAO 工具套件進行微調(diào)。有關(guān)這項工作的更多信息,請參閱下面的視頻。
訪問 GitHub 頁面(https://github.com/STMicroelectronics/stm32ai-tao),了解更多關(guān)于意法半導(dǎo)體用例信息。
視頻 2: 了解如何在一個 STM 微控制器上
部署使用 TAO 工具套件優(yōu)化的模型
雖然 TAO 工具套件模型可以在任何平臺上運行,但這些模型在使用TensorRT進行推理的NVIDIA GPU上才能實現(xiàn)最高吞吐量。在 CPU 上,這些模型使用 ONNX-RT 進行推理。一旦軟件可用,將提供復(fù)制這些數(shù)字的腳本和配方。
表 1:幾種 NVIDIA TAO 工具套件
視覺模型的性能比較(以 FPS 為單位),
包括 NVIDIA GPU 上的新視覺 Transformer 模型
AI 輔助的數(shù)據(jù)標(biāo)注和管理
對于所有 AI 項目來說,數(shù)據(jù)標(biāo)注仍然是一個昂貴且耗時的過程。對于 CV 任務(wù)尤其如此,比如需要在標(biāo)注對象周圍生成像素級別分割掩碼的分割任務(wù)。通常,分割掩碼的成本是對象檢測或分類的 10 倍。
通過 TAO 工具套件 5.0 ,用最新的 AI 輔助標(biāo)注功能對分割掩碼進行標(biāo)注,速度更快,成本更低?,F(xiàn)在,您可以使用弱監(jiān)督分割架構(gòu) Mask Auto Labeler (MAL)來輔助進行分割注釋,以及固定和收緊用于對象檢測的邊界框。實況數(shù)據(jù)中對象周圍的松散邊界框可能會導(dǎo)致非最佳檢測結(jié)果。但是,通過 AI 輔助標(biāo)注,您可以將邊界框收緊到對象上,從而獲得更準(zhǔn)確的模型。
圖 3:TAO 工具套件的自動標(biāo)記
MAL 是一個基于 Transformer 的掩碼自動標(biāo)注框架,用于僅使用方框標(biāo)注的實例分割。MAL 將方框裁剪圖像作為輸入內(nèi)容,并有條件地生成掩碼偽標(biāo)簽。它對輸入和輸出標(biāo)簽都使用了 COCO 注釋格式。
MAL 顯著縮小了自動標(biāo)注和人工標(biāo)注在掩碼質(zhì)量方面的差距。使用 MAL 生成的掩碼訓(xùn)練的實例分割模型幾乎可以匹配全監(jiān)督對應(yīng)模型的性能,保留了高達 97.4% 的全監(jiān)督模型的性能。
圖 4:MAL 網(wǎng)絡(luò)架構(gòu)
訓(xùn)練 MAL 網(wǎng)絡(luò)時,任務(wù)網(wǎng)絡(luò)和教師網(wǎng)絡(luò)(共享相同的轉(zhuǎn)換器結(jié)構(gòu))協(xié)同工作以實現(xiàn)與類無關(guān)的自我訓(xùn)練。這樣就可以優(yōu)化具有條件隨機場(CRF)損失和多實例學(xué)習(xí)(MIL)損失的預(yù)測掩碼。
TAO 工具套件在自動標(biāo)注流程和數(shù)據(jù)擴充流程中都使用了 MAL 。具體而言,用戶可以在空間增強的圖像上生成偽掩碼(例如,剪切或旋轉(zhuǎn)),并使用生成的掩碼細化和收緊相應(yīng)的邊界框。
最先進的視覺 Transformer
Transformer 已經(jīng)成為 NLP 中的標(biāo)準(zhǔn)架構(gòu),這主要是因為自注意力架構(gòu),同時它們還因一系列視覺 AI 任務(wù)而廣受歡迎。一般來說,基于 Transformer 的模型因為具有魯棒性、可推廣性和對大規(guī)模輸入執(zhí)行并行處理的能力,會優(yōu)于傳統(tǒng)的基于 CNN 的模型。所有這些優(yōu)點都提高了訓(xùn)練效率,對圖像損壞和噪聲提供了更好的魯棒性,并對不可視的對象更好地進行泛化。
TAO 工具套件 5.0 為流行的 CV 任務(wù)提供了幾種最先進的(SOTA)視覺 Transformer ,具體如下。
全注意力網(wǎng)絡(luò)
全注意力網(wǎng)絡(luò)(FAN)是 NVIDIA Research 的一個基于 Transformer 的主干,它在抵御各種破壞方面實現(xiàn)了最優(yōu)的魯棒性。這類主干可以很容易地推廣到新的領(lǐng)域,并且對噪聲、模糊等更具魯棒性。
FAN 模塊背后的一個關(guān)鍵設(shè)計是注意力通道處理模塊,它可以實現(xiàn)穩(wěn)健的表征學(xué)習(xí)。FAN 可以用于圖像分類任務(wù)以及諸如對象檢測和分割之類的下游任務(wù)。
圖 5 :與 FAN Small (右)相比,
ResNet50 (中)損壞圖像的激活熱圖
FAN 系列支持四個主干,如表 2 所示。
表 2:具有尺寸和精度的 FAN 主干
全局視野視覺 Transformer
全局上下文視覺 Transformer(GC-ViT)是 NVIDIA Research 的一種新架構(gòu),可實現(xiàn)非常高的準(zhǔn)確性和計算效率。GC-ViT 解決了視覺 Transformer 中缺乏誘導(dǎo)性偏差的問題 。通過使用局部自注意,它在 ImageNet 上使用較少的參數(shù)獲得了更好的結(jié)果。
局部自我注意與全局視野自我注意相結(jié)合,可以有效地模擬長距離和短距離的空間交互。圖 6 顯示了 GC-ViT 模型體系結(jié)構(gòu)。有關(guān)更多詳細信息,請參見 Global Context Vision Transformers (https://arxiv.org/pdf/2206.09959.pdf)。
圖 6:GC-ViT 模型架構(gòu)
如表 3 所示,GC-ViT 家族包含六個主干,從 GC-ViT-xxTiny (計算效率高)到 GC-ViT-Large (非常準(zhǔn)確)。GC-ViT 大型模型在 ImageNet-1K 數(shù)據(jù)集上可以實現(xiàn) 85.6 的 Top-1 精度,用于圖像分類任務(wù)。該體系結(jié)構(gòu)還可以用作其他 CV 任務(wù)的主干,如對象檢測、語義和實例分割。
表 3:具有尺寸和精度的 GC-ViT 主干
DINO
DINO(具有改進去噪錨框的檢測 Transformer)是最新一代檢測 Transformer(DETR),達到了一個比上一代更快的訓(xùn)練收斂時間。Deformable DETR (D-DETR)至少需要 50 個 epochs 才能收斂,而 DINO 可以在 COCO 數(shù)據(jù)集上在 12 個 epochs 內(nèi)收斂。而且,與 D-DETR 相比,它還實現(xiàn)了更高的精度。
DINO 通過在訓(xùn)練期間去噪實現(xiàn)更快的收斂,這有助于提案生成階段的二分匹配過程。由于二分匹配的不穩(wěn)定性,類 DETR 模型的訓(xùn)練收斂速度較慢。二分匹配減少了對人工和計算繁重的 NMS 操作的需求。但是,它通常需要更多的訓(xùn)練,因為在二分匹配期間,不正確的基本事實也可以與預(yù)測相匹配。
為了解決這個問題, DINO 引入了有噪聲的正負真實框來處理“無對象”場景。因此,DINO 的訓(xùn)練收斂得非???。更多信息,請參閱 DINO: 帶有改進的去噪錨框的 DETR,可用于端到端對象檢測(https://arxiv.org/pdf/2203.03605.pdf)。
圖 7:DINO 架構(gòu)
TAO 工具套件中的 DINO 是靈活的,可以與傳統(tǒng)的 CNNs 主干(如 ResNets )和基于 Transformer 的主干(如 FAN 和 GC-ViT)相結(jié)合。表 4 顯示了在各種版本的 DINO 和常用的 YOLOv7 上 COCO 數(shù)據(jù)集的準(zhǔn)確性。有關(guān)更多詳細信息,請參見 YOLOv7: 為實時物體檢測器設(shè)置了新的先進技術(shù)的可訓(xùn)練的免費套件(https://arxiv.org/pdf/2207.02696.pdf)。
表 4:COCO 數(shù)據(jù)集上的 DINO 和 D-DETR 準(zhǔn)確性
SegFormer
SegFormer 是一種基于 Transformer 的輕量級語義分割方法。它的編碼器由輕量級 MLP 層制成,避免了使用位置編碼(主要由 Transformers 使用),這使得推理在不同分辨率下有效。
將 FAN 主干網(wǎng)添加到 SegFormer MLP 解碼器中會產(chǎn)生一個高度魯棒性和高效的語義分割模型。混合式 FAN-基站 + SegFormer 是 2022 年魯棒視覺挑戰(zhàn)大賽中語義分割項目的獲勝架構(gòu)。
圖 8:具有 FAN 預(yù)測功能的 SegFormer (右)
其在噪音輸入時的一個圖像情況(左)
表 5:SegPreer 與 PSPNet 的魯棒性對比
在下面的視頻中,您將看到 SegFormer 如何保持加速自動駕駛汽車開發(fā)的高效率的同時,生成強魯棒性的語義分割。
視頻 3. NVIDIA DRIVE 實驗室片段,
關(guān)于提升自動駕駛汽車安全的 AI 分割模型
目標(biāo)檢測和分割之外的 CV 任務(wù)
除了傳統(tǒng)對象檢測和分割,NVIDIA TAO 工具套件也加速了其他的各種 CV 任務(wù)。TAO 工具套件 5.0 中新增的字符檢測和識別模型使開發(fā)人員能夠從圖像和文檔中提取文本。文檔轉(zhuǎn)換實現(xiàn)了自動化,并加速了在保險和金融等行業(yè)的用例。
當(dāng)被分類的對象變化很大時,檢測圖像中的異常是有用的,但不可能用所有的變化進行訓(xùn)練。例如,在工業(yè)檢測中,缺陷可以是任何形式的。如果訓(xùn)練數(shù)據(jù)之前沒有發(fā)現(xiàn)缺陷,那么使用簡單的分類器可能會導(dǎo)致許多遺漏的缺陷。
對于這樣的用例,將測試對象直接與黃金參考進行比較將獲得更好的準(zhǔn)確性。TAO 工具套件 5.0 的特點是暹羅神經(jīng)網(wǎng)絡(luò),在該網(wǎng)絡(luò)中,模型計算出被測對象和黃金參考之間的差異,以便在對象有缺陷時進行分類。
使用 AutoML 實現(xiàn)超參數(shù)優(yōu)化的
自動化培訓(xùn)
自動化機器學(xué)習(xí)(AutoML)自動執(zhí)行手動任務(wù),即在給定數(shù)據(jù)集上查找所需 KPI 的最佳模型和超參數(shù)。它可以通過算法推導(dǎo)出最佳模型,并抽象出 AI 模型創(chuàng)建和優(yōu)化的大部分復(fù)雜性。
TAO 工具套件中的 AutoML 完全配置了用于自動優(yōu)化模型的超參數(shù)。無論是 AI 專家還是新手,都可以輕松使用。對于新手,Jupyter 使用指南提供了一種簡單且有效的創(chuàng)建準(zhǔn)確的 AI 模型的方法。
對于專家來說,TAO 工具套件可讓您自由掌控要調(diào)整的超參數(shù)以及用于掃描的算法。TAO 工具套件目前支持兩種優(yōu)化算法:貝葉斯優(yōu)化和超參數(shù)優(yōu)化。這些算法可以掃描一系列超參數(shù),以找到給定數(shù)據(jù)集的最佳組合。
AutoML 支持多種 CV 任務(wù),包括一些新的視覺 Transformer,如 DINO、D-DETR、SegFormer 等。表 6 顯示了支持網(wǎng)絡(luò)的完整列表(標(biāo)粗的項目是 TAO 工具套件 5.0 的新增項目)。
表 6 :TAO 工具套件中 AutoML 支持的模型,
包括幾個新的視覺轉(zhuǎn)換器模型
(標(biāo)粗的項目是 TAO 工具套件 5.0 的新項目)
用于工作流程集成的 REST API
TAO 工具套件是模塊化和云原生的,這意味著它可以作為容器使用,并且可以使用 Kubernetes 進行部署和管理。TAO 工具套件可以作為自管理服務(wù)部署在任何公共或私有云、DGX 或工作站上。此外 TAO 工具套件提供定義完善的 REST API,使其易于集成到您的開發(fā)工作流程中。開發(fā)人員可以調(diào)用 API 端點來執(zhí)行所有訓(xùn)練和優(yōu)化任務(wù)。這些 API 端點可以從任何應(yīng)用程序或用戶界面調(diào)用,然后通過遠程觸發(fā)進行訓(xùn)練作業(yè)。
圖 9:用于云原生部署的 TAO 工具套件架構(gòu)
更好的推理優(yōu)化方案
為了簡化產(chǎn)品化并提高推理吞吐量,TAO 工具套件提供了多種交鑰匙性能優(yōu)化技術(shù)。其中包括模型修剪、低精度量化和 TensorRT 優(yōu)化,與公共模型庫的同類模型相比,這些技術(shù)加起來可以提供一個 4 到 8 倍的性能提升。
圖 10:在各種 GPU 上優(yōu)化的 TAO 工具套件
和公共模型之間的性能比較
開放靈活,具有更好的支撐
因為 AI 模型是基于復(fù)雜的算法預(yù)測輸出的,這可能會使人們很難理解系統(tǒng)是如何做出決定的,并且很難調(diào)試、診斷和修復(fù)錯誤??山忉?a target="_blank">人工智能(XAI)通過解釋 AI 模型如何做出決策來應(yīng)對這些調(diào)整。這不僅有助于人類理解 AI 輸出背后的推理過程,也使診斷和修復(fù)錯誤變得更容易。這種透明度有助于建立對 AI 系統(tǒng)的信任。
為了提高透明度和可解釋性,TAO 工具套件將以開源形式提供。開發(fā)人員將能夠從內(nèi)部層查看特征圖,并繪制激活熱圖,以更好地理解人工智能預(yù)測背后的推理過程。此外,訪問源代碼將使開發(fā)人員能夠靈活地創(chuàng)建定制的 AI,提高調(diào)試能力,并增加對其模型的信任。
NVIDIA TAO 工具套件現(xiàn)已推出,可通過 NVIDIA AI Enterprise (NVAIE) 購買。NVAIE 為公司提供關(guān)鍵業(yè)務(wù)支持、NVIDIA AI 專家答疑以及優(yōu)先安全修復(fù)。了解 NVAIE (https://www.nvidia.com/en-us/data-center/products/ai-enterprise/)并獲得 AI 專家的指導(dǎo)。
與云服務(wù)集成
NVIDIA TAO 工具套件可以集成到您使用的各種 AI 服務(wù)中,如 Google Vertex AI、AzureML、Azure Kubernetes 服務(wù)、Google GKE 和 Amazon EKS。
圖 11:TAO 工具套件 5.0 與各種 AI 服務(wù)集成
總結(jié)
TAO 工具套件提供了一個平臺,任何開發(fā)者在任何服務(wù)、任何設(shè)備上都可以使用,可以輕松地遷移學(xué)習(xí)他們的自定義模型,執(zhí)行量化和修剪,管理復(fù)雜的訓(xùn)練工作流程,并在無需編碼的情況下執(zhí)行人工智能輔助注釋。
*為提供 TAO 工具套件 5.0 版本的準(zhǔn)確信息,本文已在原版基礎(chǔ)上進行了修訂。
點擊“閱讀原文”,或掃描下方海報二維碼,在 8 月 8日聆聽NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現(xiàn)場發(fā)表的 NVIDIA 主題演講,了解 NVIDIA 的新技術(shù),包括屢獲殊榮的研究,OpenUSD 開發(fā),以及最新的 AI 內(nèi)容創(chuàng)作解決方案。
原文標(biāo)題:使用 NVIDIA TAO Toolkit 5.0 體驗最新的視覺 AI 模型開發(fā)工作流程
文章出處:【微信公眾號:NVIDIA英偉達】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
-
英偉達
+關(guān)注
關(guān)注
22文章
3637瀏覽量
89867
原文標(biāo)題:使用 NVIDIA TAO Toolkit 5.0 體驗最新的視覺 AI 模型開發(fā)工作流程
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論