利用NVIDIA EGX平臺在邊緣部署和加速人工智能

邊緣計算已經(jīng)存在了很長一段時間，但最近由于物聯(lián)網(wǎng)、 5G 和人工智能三大趨勢的融合而成為熱門話題。

物聯(lián)網(wǎng)設(shè)備變得越來越智能，功能也越來越強大，增加了可以部署在其上的應(yīng)用程序的廣度和可以部署在其中的環(huán)境。同時， 5G 能力的最新進展讓人們相信，這項技術(shù)很快就能將物聯(lián)網(wǎng)設(shè)備無線連接到它們部署的任何地方。事實上，分析師預(yù)測，到 2023 年， 5G 連接設(shè)備將超過 10 億臺。最后，人工智能成功地從研究項目轉(zhuǎn)向?qū)嶋H應(yīng)用，改變了零售商、工廠、醫(yī)院等許多行業(yè)的格局。

那么，這些趨勢的趨同意味著什么呢？部署的物聯(lián)網(wǎng)設(shè)備數(shù)量激增。

據(jù)專家估計，目前安裝的物聯(lián)網(wǎng)設(shè)備超過 300 億臺， Arm 預(yù)測，到 2035 年，將有超過 1 萬億臺設(shè)備。由于部署了如此多的物聯(lián)網(wǎng)設(shè)備，收集的數(shù)據(jù)量猛增，給當前的云基礎(chǔ)設(shè)施帶來了壓力。企業(yè)很快發(fā)現(xiàn)自己處于這樣的境地：它們部署的人工智能應(yīng)用程序需要大量數(shù)據(jù)來生成引人注目的見解，但它們的云基礎(chǔ)設(shè)施處理數(shù)據(jù)和將見解發(fā)送回邊緣的延遲是不可持續(xù)的。所以他們轉(zhuǎn)向邊緣計算。

通過將處理能力放在傳感器收集數(shù)據(jù)的位置，組織可以減少應(yīng)用程序交付見解的延遲。對于某些情況，例如工廠中的自動機器，延遲減少是一個關(guān)鍵的安全組件。

這就是 NVIDIA 的用武之地。 NVIDIA Edge AI 解決方案為在 Edge 部署 AI 提供了一個完整的端到端 AI 平臺。它從 NVIDIA 認證系統(tǒng)開始。

NVIDIA – 認證系統(tǒng) 將 NVIDIA GPU 的計算能力與 NVIDIA 的安全高帶寬、低延遲網(wǎng)絡(luò)解決方案結(jié)合起來。經(jīng)過性能、功能、可擴展性和安全性驗證— IT 團隊確保從 NGC 目錄 、 NVIDIA 的 GPU 優(yōu)化的 HPC 和 AI 軟件集線器部署的 AI 工作負載以最佳性能運行。這些服務(wù)器由企業(yè)級支持提供支持，包括直接訪問 NVIDIA 專家，最大限度地減少系統(tǒng)停機時間，最大限度地提高用戶生產(chǎn)效率。

為了構(gòu)建和加速在 NVIDIA 認證系統(tǒng)上運行的應(yīng)用程序， NVIDIA 提供了一個廣泛的 SDK 工具包、應(yīng)用程序框架和其他工具，旨在幫助開發(fā)人員為每個行業(yè)構(gòu)建 AI 應(yīng)用程序。這些包括預(yù)先訓練的模型、訓練腳本、優(yōu)化的框架容器、推理引擎等等。有了這些工具，無論工作負載或行業(yè)如何，組織都可以在構(gòu)建獨特的人工智能應(yīng)用程序方面取得領(lǐng)先。

一旦組織有了加速 AI 的硬件和要部署的 AI 應(yīng)用程序，下一步就是確保有適當?shù)幕A(chǔ)設(shè)施來管理和擴展應(yīng)用程序。如果沒有一個平臺來管理邊緣的人工智能，組織將面臨每次發(fā)布新的軟件更新時手動更新邊緣位置系統(tǒng)的困難和昂貴的任務(wù)。

NVIDIA 艦隊司令部 是一種云服務(wù)，它跨分布式邊緣基礎(chǔ)設(shè)施安全地部署、管理和擴展人工智能應(yīng)用程序。艦隊司令部專為人工智能打造，是人工智能生命周期管理的一個交鑰匙解決方案，提供了優(yōu)化的部署、分層的安全性和詳細的監(jiān)控功能，因此組織可以在幾分鐘內(nèi)從零到人工智能。

完整的邊緣人工智能解決方案為組織提供了構(gòu)建端到端邊緣部署所需的工具。全球第一大供應(yīng)鏈解決方案提供商 KION Group 使用 NVIDIA 解決方案更快、更高效地完成訂單。

關(guān)于作者

Troy Estes 是 NVIDIA Edge 和企業(yè)計算解決方案的產(chǎn)品營銷經(jīng)理。在加入 Edge & Enterprise 業(yè)務(wù)部門之前，特洛伊曾在自主汽車業(yè)務(wù)部門和 NVIDIA 電網(wǎng)產(chǎn)品集團從事營銷活動和支持產(chǎn)品 GTM 。

審核編輯：郭婷