從 0 到 1 搭建機(jī)器人系列 | 利用 NVIDIA Jetson 和硬件加速 SDK 打造自主機(jī)器人

問

機(jī)器人可以“變身”為咖啡師嗎？

答

當(dāng)然！機(jī)器人成為咖啡師的秘密武器是自主機(jī)器學(xué)習(xí)。想象一下，機(jī)器人可以在虛擬的“咖啡工坊”里反復(fù)練習(xí)沖泡咖啡，掌握各種口味和杯型的制作技巧。在你點(diǎn)上一杯咖啡時(shí)，機(jī)器人早已在虛擬世界里練習(xí)過無數(shù)遍，瞬間為你準(zhǔn)備出美味飲品！

問

那么機(jī)器人也可以“眨眼間”成為食品包裝專家嗎？

答

可以，這多虧了先進(jìn)的視覺感知和機(jī)器學(xué)習(xí)技術(shù)。機(jī)器人可以在虛擬的“食品工廠”里學(xué)習(xí)識(shí)別各種食品，掌握最適合的包裝方法。從巧克力到薯片，機(jī)器人通過仿真訓(xùn)練，早已練就了敏銳的“包裝藝術(shù)眼”。

在上一篇文章中我們學(xué)習(xí)了機(jī)器人開發(fā)的關(guān)鍵一步——利用虛擬環(huán)境進(jìn)行仿真開發(fā)與測(cè)試。在此系列第三篇中我們將帶領(lǐng)大家繼續(xù)學(xué)習(xí)如何打造自主機(jī)器人，登場(chǎng)的主角是 NVIDIA Jetson 和一系列硬件加速 SDK，旨在將 AI 緊密融入基于 NVIDIA Jetson 的自主機(jī)器人系統(tǒng)，推動(dòng)機(jī)器人在感知、決策和交互方面邁向更智能化的未來。

對(duì)于 NVIDIA Jetson 來說無需過多贅言，專業(yè)開發(fā)者利用它在各行各業(yè)中創(chuàng)造具有突破性的 AI 產(chǎn)品，學(xué)生黨和發(fā)燒友也使用這一領(lǐng)先的邊緣 AI 平臺(tái)獲得 AI 學(xué)習(xí)方面的實(shí)戰(zhàn)經(jīng)驗(yàn)，并實(shí)現(xiàn)各種令人驚嘆的項(xiàng)目。而在軟件層面，NVIDIA JetPack是 Jetson 平臺(tái)的基礎(chǔ) SDK，為在 Jetson 上構(gòu)建 AI 應(yīng)用程序提供了基礎(chǔ)（目前已更新至版本 5.1.2）。它捆綁了所有 Jetson 平臺(tái)軟件，包括 TensorRT、cuDNN、CUDA Toolkit、VPI、GStreamer 和 OpenCV，所有這些軟件都建立在 Jetson Linux之上，帶有 LTS Linux 內(nèi)核。

需要開發(fā)者留意的是，每個(gè) Jetson 開發(fā)者套件都包含一個(gè)連接到參考載板的非生產(chǎn)規(guī)格 Jetson 模組，與 JetPack SDK 一起服務(wù)于用例在預(yù)生產(chǎn)環(huán)境中的軟件開發(fā)和測(cè)試。Jetson 模組則普遍用于在使用壽命期間部署到生產(chǎn)環(huán)境中，模組出廠時(shí)都沒有預(yù)裝軟件，開發(fā)者可以將其連接到為最終產(chǎn)品設(shè)計(jì)或采購(gòu)的載板上，并使用開發(fā)的軟件映像對(duì)其進(jìn)行閃存。

多樣 AI 軟件包賦能機(jī)器人感知

針對(duì)借助 ROS（機(jī)器人操作系統(tǒng)）進(jìn)行實(shí)踐的開發(fā)人群，NVIDIA 也提供了一款基于硬件加速的軟件包—— NVIDIA Isaac ROS GEM，可以讓 ROS 開發(fā)者更輕松地使用 NVIDIA 硬件構(gòu)建高性能解決方案。這個(gè)軟件包結(jié)合了 ROS 和 NVIDIA 的 Isaac SDK，提供了強(qiáng)大的 AI 開發(fā)工具，可以讓機(jī)器人實(shí)現(xiàn)立體視覺測(cè)距、自主定位導(dǎo)航、環(huán)境感知、目標(biāo)識(shí)別等功能，從而使其能夠更好地適應(yīng)復(fù)雜的現(xiàn)實(shí)場(chǎng)景，更快速、準(zhǔn)確地感知環(huán)境并做出智能決策。

利用 Isaac ROS GEM，我們可以輕松地將 AI 賦予借助 ROS 開發(fā)的機(jī)器人。這個(gè)強(qiáng)大的 SDK 為機(jī)器人注入了全新的能力，使其能夠智能、靈活地與環(huán)境互動(dòng)。

優(yōu)化視頻流解析與分析

自主機(jī)器人的智能化與自主性能直接依賴于其對(duì)環(huán)境的準(zhǔn)確感知和智能決策能力，類似“眼”和“大腦”的配合。在這方面，視頻流解析扮演了關(guān)鍵的角色，為機(jī)器人提供了強(qiáng)大的視覺感知能力，使其能夠理解和適應(yīng)復(fù)雜多變的環(huán)境。

• 實(shí)時(shí)環(huán)境感知與障礙物識(shí)別：自主機(jī)器人在不同的環(huán)境中自主導(dǎo)航和操作的能力取決于其對(duì)周圍環(huán)境的實(shí)時(shí)感知。通過視頻流解析，機(jī)器人可以從攝像頭獲取實(shí)時(shí)圖像數(shù)據(jù)，并利用計(jì)算機(jī)視覺技術(shù)識(shí)別環(huán)境中的障礙物、道路、標(biāo)志等。這為機(jī)器人實(shí)現(xiàn)智能避障、路徑規(guī)劃以及環(huán)境理解提供了基礎(chǔ)。

• 目標(biāo)檢測(cè)和跟蹤：視頻流解析技術(shù)使得機(jī)器人能夠識(shí)別和跟蹤環(huán)境中的目標(biāo)，如人類、其他車輛、動(dòng)物等。這對(duì)于自主導(dǎo)航、協(xié)作任務(wù)以及監(jiān)控應(yīng)用具有重要意義。例如，機(jī)器人可以通過識(shí)別行人和交通信號(hào)燈來安全地穿越交通路口，或者在危險(xiǎn)環(huán)境中檢測(cè)并避免風(fēng)險(xiǎn)。

• 環(huán)境建模與導(dǎo)航規(guī)劃：通過對(duì)視頻流進(jìn)行實(shí)時(shí)解析，機(jī)器人可以建立環(huán)境模型，包括地圖、障礙物、地標(biāo)等信息。這些環(huán)境模型為機(jī)器人的自主導(dǎo)航和路徑規(guī)劃提供了依據(jù)。機(jī)器人可以利用這些信息進(jìn)行路徑優(yōu)化，選擇最佳路徑以達(dá)到目的地，同時(shí)避開障礙物和危險(xiǎn)區(qū)域。

• 情境感知和交互增強(qiáng)：視頻流解析使得機(jī)器人能夠更深入地理解周圍環(huán)境，從而更好地與人類進(jìn)行交互。例如，機(jī)器人可以通過觀察人類的面部表情和姿態(tài)來識(shí)別情緒，進(jìn)而調(diào)整自己的行為以更好地滿足人類的需求。這種情境感知和智能交互的能力為機(jī)器人賦予了更加親近和智能的形象。

對(duì)于需要處理視頻流的機(jī)器人，NVIDIA DeepStream SDK 是一款無可比擬的工具。作為一個(gè)完整的流分析工具包，DeepStream 用于構(gòu)建 AI 應(yīng)用程序，將來自 USB 或 CSI 攝像頭、文件或 RTSP 的視頻流數(shù)據(jù)作為輸入，并使用 AI 和計(jì)算機(jī)視覺從像素中生成見解，以便更好地了解環(huán)境，成為了許多視頻分析解決方案的基礎(chǔ)層。對(duì)于機(jī)器人而言，這意味著它們可以更迅速地分析周圍的視覺數(shù)據(jù)，實(shí)現(xiàn)實(shí)時(shí)的目標(biāo)識(shí)別和追蹤。

DeepStream SDK 附帶 30 多個(gè)示例應(yīng)用，可以幫助開發(fā)者順利啟動(dòng)開發(fā)工作。大多數(shù)示例均提供 C/C++、Python 和 Graph Composer 版本，可在 NVIDIA Jetson 平臺(tái)上運(yùn)行。

開啟自主機(jī)器人的

語(yǔ)音與自然語(yǔ)言處理時(shí)代

自然語(yǔ)言處理技術(shù)是實(shí)現(xiàn)智能機(jī)器人互動(dòng)的關(guān)鍵。NVIDIA Riva 是一款用于構(gòu)建和部署語(yǔ)音 AI 應(yīng)用的 GPU 加速軟件開發(fā)工具包，包含了十種語(yǔ)言的預(yù)訓(xùn)練模型。它用于自動(dòng)語(yǔ)音識(shí)別（ASR）及文本轉(zhuǎn)語(yǔ)音（TTS），以啟用實(shí)時(shí)語(yǔ)音對(duì)話。從虛擬助手到數(shù)字虛擬形象再到自主機(jī)器人，都可以構(gòu)建和部署完全可自定義的實(shí)時(shí) AI 流程。NVIDIA Riva 的引入，使機(jī)器人可以以更自然的方式與人類進(jìn)行語(yǔ)音對(duì)話，實(shí)現(xiàn)語(yǔ)音控制、語(yǔ)音搜索等應(yīng)用，為機(jī)器人賦能智能交互帶來了前所未有的機(jī)會(huì)。

通過整合 NVIDIA Jetson 的強(qiáng)大邊緣算力和硬件加速 SDK 的優(yōu)勢(shì)，我們能夠?yàn)闄C(jī)器人賦予更高級(jí)的自主能力，實(shí)現(xiàn)實(shí)時(shí)的推理和響應(yīng)，從而在不同的應(yīng)用場(chǎng)景中獲得出色的性能。無論是在自主導(dǎo)航、環(huán)境感知、視頻分析，還是語(yǔ)音識(shí)別等領(lǐng)域，NVIDIA 技術(shù)加持的自主機(jī)器人都將會(huì)帶來全新的智能體驗(yàn)。

• 全面了解 NVIDIA Jetson 平臺(tái)：

  https://www.nvidia.cn/autonomous-machines/embedded-systems/

• Isaac ROS GEM——基于硬件加速的軟件包，可以讓 ROS 開發(fā)者更輕松地基于 NVIDIA 硬件構(gòu)建高性能解決方案：https://developer.nvidia.com/zh-cn/isaac-ros

• 利用 DeepStream SDK 快速開發(fā)和部署視覺 AI 應(yīng)用和服務(wù)（現(xiàn)已更新至版本 6.3）：

  https://developer.nvidia.cn/zh-cn/deepstream-sdk

• 構(gòu)建定制的實(shí)時(shí)語(yǔ)音 AI 應(yīng)用：

  https://developer.nvidia.com/zh-cn/riva