用AI和高性能計(jì)算應(yīng)對(duì)邊緣數(shù)據(jù)挑戰(zhàn)

未來(lái)十年，科學(xué)儀器的靈敏度和分辨率將提高 10-100 倍，因此需要相應(yīng)的存儲(chǔ)和處理規(guī)模。這些增強(qiáng)型儀器產(chǎn)生的數(shù)據(jù)將達(dá)到摩爾定律無(wú)法充分解決的極限，它將挑戰(zhàn)僅基于數(shù)據(jù)中心 HPC 的傳統(tǒng)運(yùn)營(yíng)模式。

邊緣計(jì)算 依賴(lài) AI 和 高性能計(jì)算 （ HPC ）來(lái)跟上這些增強(qiáng)功能的時(shí)代已經(jīng)到來(lái)。

5 月 30 日， NVIDIA 超尺度和 HPC 計(jì)算副總裁伊恩·巴克博士在德國(guó)漢堡的 國(guó)際超級(jí)計(jì)算大會(huì) （ ISC ）特別演講中回應(yīng)了這種觀點(diǎn)。在介紹此 邊緣計(jì)算背景下 HPC 和 AI 本質(zhì)的視角轉(zhuǎn)變 的同時(shí)，特別演講還介紹了一個(gè)旨在解決邊緣 HPC 數(shù)據(jù)密集型工作負(fù)載這一難題的平臺(tái)： NVIDIA Holoscan 。

介紹用于 HPC Edge 的 NVIDIA Holoscan 平臺(tái)

NVIDIA Holoscan 平臺(tái)已經(jīng)擴(kuò)展，以滿(mǎn)足 DevOps 工程師、性能工程師、數(shù)據(jù)科學(xué)家和研究人員在這些不可思議的邊緣儀器上工作的特定需求。

現(xiàn)代實(shí)時(shí)、邊緣人工智能應(yīng)用正日益成為多模式應(yīng)用。它們涉及高速 IO 、視覺(jué) AI 、成像 AI 、圖形、流媒體技術(shù)等。創(chuàng)建和維護(hù)這些應(yīng)用程序非常困難。擴(kuò)展它們甚至更加困難。

NVIDIA 正在構(gòu)建流式反應(yīng)式框架（ SRF ），以應(yīng)對(duì)這些挑戰(zhàn)。

圖 1 ：。 NVIDIA Holoscan for HPC 工作流

雖然Holoscan最初是針對(duì)醫(yī)療保健，但它是一個(gè)通用的計(jì)算和成像平臺(tái)，旨在實(shí)現(xiàn)高性能，同時(shí)滿(mǎn)足邊緣的尺寸重量和功率（SWaP）限制。

現(xiàn)在， Holoscan 平臺(tái)得到了擴(kuò)展，這得益于一個(gè)易于使用的軟件框架，該框架通過(guò)確保最大的流數(shù)據(jù)性能和計(jì)算，最大限度地提高了開(kāi)發(fā)人員的生產(chǎn)率。該平臺(tái)是云本機(jī)平臺(tái)，支持邊緣位置和數(shù)據(jù)中心之間的混合計(jì)算和數(shù)據(jù)管道。它的體系結(jié)構(gòu)還考慮了可伸縮性，使用了網(wǎng)絡(luò)感知優(yōu)化和異步計(jì)算。

擴(kuò)展的 Holoscan 平臺(tái)提供了一個(gè)靈活的軟件堆棧，可以在基于 NVIDIA Jetson AGX Xavier 或 Jetson AGX Orin 。 還有一個(gè)云本機(jī)版本，運(yùn)行在常見(jiàn)的高性能硬件上，以加速邊緣的數(shù)據(jù)分析和可視化工作流。

介紹 NVIDIA 流式反應(yīng)式框架

HPC 和 AI 研究領(lǐng)域最優(yōu)秀的人才正在不斷開(kāi)發(fā)更快更好的算法，以解決當(dāng)今最具挑戰(zhàn)性的問(wèn)題。然而，許多開(kāi)發(fā)人員發(fā)現(xiàn)，將他們的模型和代碼移植到全速率生產(chǎn)是一項(xiàng)挑戰(zhàn)，尤其是在面臨高速流輸入和嚴(yán)格的吞吐量和延遲要求時(shí)。

一個(gè)有效的解決方案需要各種技能：從數(shù)據(jù)科學(xué)家到性能工程師的人才，同時(shí)跨越多種軟件語(yǔ)言、硬件和軟件架構(gòu)、位置和縮放規(guī)則。因此， NVIDIA 創(chuàng)建了流式反應(yīng)式框架（ SRF ），以減輕對(duì)生產(chǎn)的研究負(fù)擔(dān)，同時(shí)保持光速性能。

圖 2 ：。在 Holoscan 中， HPC 流式數(shù)據(jù)管道使用 SRF 進(jìn)行了標(biāo)準(zhǔn)化，以便為傳感器數(shù)據(jù)構(gòu)建模塊化和可重用的管道

NVIDIA SRF 是一個(gè)網(wǎng)絡(luò)感知、靈活且面向性能的流式數(shù)據(jù)框架，它為 C ++和 Python 開(kāi)發(fā)人員標(biāo)準(zhǔn)化并簡(jiǎn)化了從云到邊緣的生產(chǎn) HPC 和 AI 部署。

構(gòu)建 NVIDIA SRF 管道時(shí)，請(qǐng)指定應(yīng)用程序數(shù)據(jù)流。以及縮放和放置邏輯。放置邏輯指示數(shù)據(jù)流運(yùn)行的硬件，縮放邏輯表示需要多少并行拷貝才能滿(mǎn)足性能要求。

NVIDIA SRF 可以輕松地與 C ++和 Python 代碼以及特定于域的 SDK 的 NVIDIA 目錄集成。

NVIDIA SRF 仍處于實(shí)驗(yàn)階段，正在積極開(kāi)發(fā)中。您可以在 2022 年 6 月中旬訪(fǎng)問(wèn) 在 GitHub 上下載 NVIDIA SRF 。

用于可視化和成像的 AI

NVIDIA Orin ，一種基于 AI 推斷中的 NVIDIA 安培體系結(jié)構(gòu) 、 設(shè)置新記錄 的低功耗片上系統(tǒng)，提高了每臺(tái)加速器的性能。它比上一代 Jetson AGX Xavier 快 5 倍，同時(shí)平均能效提高 2 倍。

Jetson AGX Orin 是用于 HPC 和 NVIDIA Clara Holoscan 的 Holoscan 的關(guān)鍵成分，該平臺(tái)系統(tǒng)制造商和研究人員正在使用該平臺(tái)開(kāi)發(fā)下一代 AI 儀器。其強(qiáng)大的成像計(jì)算能力和多功能軟件堆棧使其對(duì)涉及可視化和成像的 HPC 邊緣用例具有吸引力。

Orin 憑借其 JetPack SDK 運(yùn)行完整的 NVIDIA AI 平臺(tái)，這是一個(gè)已經(jīng)在數(shù)據(jù)中心和云計(jì)算中得到驗(yàn)證的軟件棧。它得到了使用 NVIDIA Jetson 平臺(tái)的 100 萬(wàn)開(kāi)發(fā)人員的支持。

美國(guó)能源部阿貢國(guó)家實(shí)驗(yàn)室（ ArgonneNational Laboratory ）的 高級(jí)光子源 （ APS ）可以產(chǎn)生超明亮的高能光子束。光子的亮度是標(biāo)準(zhǔn)醫(yī)院 X 光機(jī)的 1000 億倍，可以在納米級(jí)和原子級(jí)上拍攝圖像。隨著 2024 年 APS-U 的升級(jí)，它將能夠產(chǎn)生比當(dāng)前機(jī)器亮 500 倍的光子。

牛津大學(xué)的鉆石光源 是世界一流的同步加速器設(shè)備，正在將現(xiàn)有光束線(xiàn)和五條新的旗艦光束線(xiàn)的亮度和相干性提高 20 倍。 Diamond 的數(shù)據(jù)傳輸速率已經(jīng)達(dá)到每月 PB ，使用 Diamond II ，預(yù)計(jì)至少會(huì)高出一個(gè)數(shù)量級(jí)。

在世界范圍內(nèi)，有 50 多個(gè)先進(jìn)光源支持 16000 多名研究科學(xué)家的工作，這些儀器也有更多的升級(jí)。雖然所有這些進(jìn)步本身都很顯著，但它們依賴(lài)于計(jì)算和數(shù)據(jù)科學(xué)家準(zhǔn)備好在邊緣的超級(jí)計(jì)算機(jī)上運(yùn)行人工智能數(shù)據(jù)處理應(yīng)用程序。

PtychoNN ： APS 邊緣計(jì)算平臺(tái)

APS 是一臺(tái)足球場(chǎng)大小的機(jī)器，可以產(chǎn)生光子束。這些光束用于研究材料、物理和生物結(jié)構(gòu)。

如今，生成具有納米級(jí)分辨率的材料圖像的一種方法是光子照相法（ ptychography ），這是一種計(jì)算密集型方法，用于將散射的 X 射線(xiàn)干涉圖轉(zhuǎn)換為實(shí)際物體的圖像。

到目前為止，該方法需要解決一個(gè)具有挑戰(zhàn)性的反問(wèn)題，即使用正向和反向傅里葉變換，根據(jù)在數(shù)萬(wàn)次 X 射線(xiàn)測(cè)量中觀察到的衍射圖案，迭代計(jì)算物體的圖像?？茖W(xué)家們等了幾天才得到實(shí)驗(yàn)圖像的結(jié)果。

現(xiàn)在，有了人工智能，科學(xué)家們可以繞過(guò)大部分反演過(guò)程，在實(shí)驗(yàn)進(jìn)行時(shí)查看物體的圖像，甚至可以在飛行中進(jìn)行調(diào)整。

有了人工智能， APS 的科學(xué)家們能夠使用流式 ptychography 管道，通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)模型 PtychoNN 進(jìn)行加速，從而將圖像處理速度提高 300 倍以上，并將生成高質(zhì)量圖像所需的數(shù)據(jù)減少 25 倍。

圖3. 在A100上的數(shù)據(jù)中心培訓(xùn)PtychoNN模型，并在波束線(xiàn)儀器上部署經(jīng)過(guò)培訓(xùn)的AI模型，AGX Orin運(yùn)行PtychoNN以更快300倍的速度傳輸圖像

PtychoNN 模型的培訓(xùn) NVIDIA A100 Tensor Core GPU 具有深度學(xué)習(xí)和 X 射線(xiàn)圖像相位檢索數(shù)據(jù)。經(jīng)過(guò)訓(xùn)練的模型可以在 edge 設(shè)備上運(yùn)行，以直接將傳入的衍射圖像映射到真實(shí)空間中的對(duì)象圖像，并在毫秒內(nèi)實(shí)時(shí)映射。

更快的取樣意味著儀器的使用效率更高，為調(diào)查更多材料提供了機(jī)會(huì)。它提供了以前不可能實(shí)現(xiàn)的功能，例如查看在 X 射線(xiàn)束中受損的生物材料樣本、快速變化的樣本或與 X 射線(xiàn)束大小相比較大的樣本。

通用的硬件和軟件體系結(jié)構(gòu)簡(jiǎn)化了編排， NVIDIA AGX 位于邊緣， A100 GPU 群集位于數(shù)據(jù)中心。該解決方案易于擴(kuò)展，以跟上 APS 預(yù)期的 125 倍數(shù)據(jù)速率增長(zhǎng)。預(yù)計(jì) 2022 年的探測(cè)器升級(jí)和 2024 年的設(shè)施升級(jí)將帶來(lái)增長(zhǎng)。

“為了充分利用升級(jí)后的 APS 的功能，我們必須重新設(shè)計(jì)數(shù)據(jù)分析。我們目前的方法不足以跟上。機(jī)器學(xué)習(xí)可以充分利用并超越當(dāng)前的可能?！?/p>

Mathew Cherukara ，阿貢國(guó)家實(shí)驗(yàn)室計(jì)算科學(xué)家

這種使用 NVIDIA GPU 和 PtychoNN 的工作流程和方法可能是世界上許多其他光源的適用模型，這些光源也可以 通過(guò)實(shí)時(shí) X 射線(xiàn)成像加速科學(xué)突破 。

在前面的示例中，單個(gè) GPU 邊緣設(shè)備使用經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)加速圖像流。 edge 實(shí)驗(yàn)耗時(shí)數(shù)天，現(xiàn)在只需幾分之一秒，研究人員就可以實(shí)時(shí)交互使用他們的大型科學(xué)儀器。有關(guān)邊緣其他相關(guān) HPC 和 AI 示例的更多信息，請(qǐng)參閱以下參考資料：

邊緣高性能地理空間圖像處理

Clara 全息掃描實(shí)時(shí)顯示活細(xì)胞顯微圖像

使用 NVIDIA 工具包的高級(jí)傳感器處理管道

雖然我們的許多突出的 edge HPC 應(yīng)用程序都專(zhuān)注于流式視頻和成像管道，但 NVIDIA Holoscan 可以擴(kuò)展到具有各種數(shù)據(jù)格式和速率的其他傳感器類(lèi)型。無(wú)論您是使用軟件定義的無(wú)線(xiàn)電進(jìn)行高帶寬頻譜分析，還是從電網(wǎng)監(jiān)測(cè)遙測(cè)異常， NVIDIA Holoscan 都是軟件定義儀器的首選平臺(tái)。

通過(guò)關(guān)注開(kāi)發(fā)人員的生產(chǎn)力和應(yīng)用程序性能，無(wú)論傳感器是什么，邊緣 HPC 都可以提供實(shí)時(shí)分析和任務(wù)成功。

關(guān)于作者

Harry Petty 是一位經(jīng)驗(yàn)豐富的數(shù)據(jù)中心營(yíng)銷(xiāo)人員和技術(shù)專(zhuān)家，曾在大型科技公司擔(dān)任領(lǐng)導(dǎo)職務(wù)，為混合云、存儲(chǔ)解決方案、網(wǎng)絡(luò)處理器和服務(wù)器產(chǎn)品線(xiàn)推廣 SDN 產(chǎn)品。

Geetika Gupta 是 HPC + AI 和 Edge 應(yīng)用的領(lǐng)先產(chǎn)品。自 NVIDIA 開(kāi)普勒一代以來(lái)，她一直擔(dān)任數(shù)據(jù)中心 GPU 的產(chǎn)品經(jīng)理，現(xiàn)在專(zhuān)注于 HPC + AI 和流式數(shù)據(jù)用例的融合。 Geetika 擁有加州大學(xué)洛杉磯分校安德森學(xué)院的 MBA 學(xué)位和 IITBHU 的機(jī)械工程學(xué)士學(xué)位。

Adam Thompson 是 NVIDIA 的高級(jí)解決方案架構(gòu)師。他有信號(hào)處理方面的背景，他的職業(yè)生涯一直在參與和領(lǐng)導(dǎo)一些項(xiàng)目，這些項(xiàng)目專(zhuān)注于射頻分類(lèi)、數(shù)據(jù)壓縮、高性能計(jì)算、統(tǒng)計(jì)信號(hào)處理以及管理和設(shè)計(jì)針對(duì)大數(shù)據(jù)框架的應(yīng)用程序。

審核編輯：郭婷