基于英偉達(dá)Jetson Thor芯片，如何快速實(shí)現(xiàn)具身智能方案創(chuàng)新？

電子發(fā)燒友網(wǎng)報(bào)道（文/吳子鵬）近一段時間，在各種人工智能相關(guān)的大會上，具身智能已經(jīng)成為共同的話題，并且有很多人將2024年定義為具身智能產(chǎn)業(yè)發(fā)展元年，因?yàn)榇饲岸际歉拍钚蕴剿?，今年則是開始切實(shí)地需求落地。

根據(jù)中國計(jì)算機(jī)學(xué)會的定義，具身智能橫跨人工智能、機(jī)器人學(xué)習(xí)、計(jì)算機(jī)視覺等學(xué)科，屬于有物理身體的智能體通過與物理環(huán)境進(jìn)行交互，從而獲得智能的人工智能研究范式。那么，如果工程師想要搭建自己的具身智能創(chuàng)新方案，該如何做呢？

那么，在這里我們向大家推薦英偉達(dá)的Jetson Thor芯片方案以及相關(guān)的配套資源。

專門為機(jī)器人應(yīng)用打造的Jetson Thor

1950年圖靈首次提出具身智能概念，但在那之后具身智能并沒有取得很大進(jìn)展，很重要的原因就是基于當(dāng)時的軟硬件資源，具身智能簡直就是天方夜譚。在ITF World 2023半導(dǎo)體大會上，英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛重提具身智能，他認(rèn)為人工智能下一個浪潮將是具身智能”。

在GTC 2024上，英偉達(dá)發(fā)布了專為人形機(jī)器人打造的Jetson Thor芯片平臺，這款芯片融入了非常多的英偉達(dá)關(guān)于具身智能發(fā)展的“know how”。在Jetson Thor發(fā)布之前，英偉達(dá)在機(jī)器人領(lǐng)域已經(jīng)發(fā)布了多款芯片方案，包括Jetson Orin、Jetson Orin Nano和Jetson AGX Xavier等。

Jetson硬件路線圖，圖源：英偉達(dá)

并且，正如英偉達(dá)所言，每一款Jetson系列產(chǎn)品都是一個完整的系統(tǒng)模組 (SOM)，其中包括 GPU、CPU、內(nèi)存、電源管理和高速接口等。以Jetson Orin模組為例，最高可提供高達(dá)每秒 275萬億次浮點(diǎn)運(yùn)算 (TOPS）的算力，擁有4GB到64GB內(nèi)存配置，模組功耗在7瓦到60瓦之間。

Jetson Thor延續(xù)了Jetson系列高性能的傳統(tǒng)，可提供每秒800萬億次8位浮點(diǎn)運(yùn)算AI性能，并集成功能安全處理器、高性能CPU集群和100GB以太網(wǎng)帶寬。正如筆者此前文章提到的，Jetson Thor基于英偉達(dá)Blackwell架構(gòu)，保證了該芯片的高性能。和英偉達(dá)上一代Hopper架構(gòu)相比，Blackwell架構(gòu)在各項(xiàng)性能方面都帶來了數(shù)倍的提升。并且，Blackwell Tensor核心增加了新的精度，基于該架構(gòu)打造的第二代Transformer引擎支持4位浮點(diǎn)數(shù)AI推理，計(jì)算能力和模型規(guī)模提高一倍。

根據(jù)英偉達(dá)的介紹，Jetson Thor能夠執(zhí)行復(fù)雜的任務(wù)并安全、自然地與人和機(jī)器交互，具有針對性能、功耗和尺寸優(yōu)化的模塊化架構(gòu)。

圍繞Jetson系列豐富的開發(fā)資源

如上所述，英偉達(dá)Jetson系列是面向機(jī)器人開發(fā)的解決方案，滿足各種應(yīng)用的性能和預(yù)算需求。在這套方案中，除了高性能、高度集成的芯片平臺，還有豐富的配套資源。

比如，面向產(chǎn)品開發(fā)的開發(fā)者，Jetson系列整合JetPack SDK、Metropolis微服務(wù)、生產(chǎn)就緒的Isaac ROS軟件包和特定于應(yīng)用程序的參考AI工作流程。

JetPack SDK是Jetson軟件堆棧的源頭，提供Jetson Linux、開發(fā)人員工具、CUDA-X加速庫和其他NVIDIA技術(shù)。JetPack SDK構(gòu)建了用于各種機(jī)器人應(yīng)用的底層能力，借助JetPack SDK，開發(fā)者可以使用TensorRT和cuDNN用于加速AI推理，CUDA用于加速通用計(jì)算，VPI用于加速計(jì)算機(jī)視覺和圖像處理，Jetson Linux API用于加速多媒體，libArgus和V4l2用于加速相機(jī)處理。

同時，借助Jetson Linux，開發(fā)人員可以開發(fā)各種應(yīng)用程序，工具包中包含Linux內(nèi)核、引導(dǎo)加載器、NVIDIA驅(qū)動程序、閃爍實(shí)用程序、示例文件系統(tǒng)和Jetson平臺的工具鏈，使得應(yīng)用程序開發(fā)非常迅捷?？偨Y(jié)來說，在JetPack SDK中，擁有非常豐富的細(xì)分功能的SDK，工程師朋友可以根據(jù)自己的需要去選擇。

我們再看一下Isaac ROS軟件包，它是一個用于機(jī)器人操作系統(tǒng)的軟硬件加速包，包括多個開源選項(xiàng)。Isaac ROS提供具有圖像處理和計(jì)算機(jī)視覺功能的單個軟件包（GEM）和完整管道（NITROS），幫助機(jī)器人應(yīng)用構(gòu)建高吞吐量的感知系統(tǒng)；模塊化軟件包的Isaac ROS讓開發(fā)人員可以根據(jù)自己的需要來替換部分算法；Isaac ROS擁有非常出色的兼容性，能夠大幅縮短機(jī)器人方案的開發(fā)周期?？傊琁saac ROS是一個功能豐富且模塊化的感知軟件包，為機(jī)器人應(yīng)用程序帶來高性能感知和硬件加速。

面向教育工作者、學(xué)生和發(fā)燒友，英偉達(dá)也提供Jetson Nano開發(fā)者套件，能夠幫助這類型的開發(fā)者進(jìn)行教授、學(xué)習(xí)和開發(fā)AI與機(jī)器人融合的方案。

除了豐富的配套開發(fā)資源，我們還要重提英偉達(dá)在具身智能大模型方面的先進(jìn)理念，英偉達(dá)Project GR00T人形機(jī)器人基礎(chǔ)模型是一個VLA類型的模型，具備語言、動作和專業(yè)機(jī)器人知識模態(tài)，是未來具身智能開發(fā)的主流模型路線。這些知識和資源，開發(fā)者都可以從英偉達(dá)GR00T項(xiàng)目或者 Isaac工具組合中去獲取。

結(jié)語

英偉達(dá)Jetson Thor芯片是該公司專門為機(jī)器人應(yīng)用打造的高性能推理芯片，也是Jetson系列面向未來具身智能應(yīng)用給出的硬件解決方案，高算力、高度集成和一體化方案是該平臺的特點(diǎn)。

同時，英偉達(dá)還提供了豐富的軟件資源，從最底層的SDK到操作系統(tǒng)層面都可以找到相關(guān)的資源，實(shí)現(xiàn)具身智能等機(jī)器人應(yīng)用的快速開發(fā)。