在同一邊緣設(shè)備上運(yùn)行多個(gè)應(yīng)用程序

智能空間是最豐富的邊緣人工智能用例之一。從智能零售店到自主工廠，企業(yè)很快就能看到這項(xiàng)創(chuàng)新技術(shù)的價(jià)值。然而，構(gòu)建和擴(kuò)展智能空間需要許多不同的技術(shù)，包括多種應(yīng)用。在邊緣位置操作多個(gè)應(yīng)用程序可能很復(fù)雜。

為此，組織可能會(huì)向某個(gè)位置添加新硬件，以便每個(gè)應(yīng)用程序都有專用的計(jì)算資源，但與購(gòu)買和安裝每個(gè)新應(yīng)用程序的新硬件相關(guān)的成本可能會(huì)很高。許多組織在同一設(shè)備上部署多個(gè)應(yīng)用程序。

雖然這是一種規(guī)模解決方案，但它可能會(huì)帶來(lái)不同的挑戰(zhàn)。

許多組織依靠 GPU 的性能來(lái)支持邊緣應(yīng)用程序。即使使用高性能 GPU 加速系統(tǒng)，使用時(shí)間切片在同一設(shè)備上同時(shí)運(yùn)行兩個(gè)或多個(gè) AI 應(yīng)用程序也不可避免地會(huì)導(dǎo)致更高的延遲，而硬件優(yōu)化最少。

當(dāng)多個(gè)應(yīng)用程序在同一設(shè)備上運(yùn)行時(shí)，設(shè)備將應(yīng)用程序時(shí)間切片到隊(duì)列中，以便應(yīng)用程序按順序運(yùn)行，而不是并發(fā)運(yùn)行。當(dāng)設(shè)備從一個(gè)應(yīng)用程序的處理數(shù)據(jù)切換到另一個(gè)應(yīng)用程序時(shí)，結(jié)果總是有延遲。每個(gè)部署的延遲量不同，但可能高達(dá) 8 毫秒。這可能會(huì)嚴(yán)重影響為高速操作提供動(dòng)力的應(yīng)用，例如制造生產(chǎn)線。

由于應(yīng)用程序是按順序運(yùn)行的， GPU 僅在每個(gè)應(yīng)用程序運(yùn)行時(shí)根據(jù)需要使用。例如，如果有三個(gè)應(yīng)用程序在 GPU 上順序運(yùn)行，并且每個(gè)應(yīng)用程序需要 60% 的 GPU 資源，那么在任何給定時(shí)間，使用的 GPU 都不到 60% 。在每次上下文切換期間， GPU 利用率將為 0% 。

有幾種方法可以避免時(shí)間分割，更好地利用 GPU 資源。

NVIDIA 多實(shí)例 GPU

NVIDIA 多實(shí)例 GPU （ MIG ） 是一種功能，使您能夠?qū)?GPU 劃分為多個(gè)實(shí)例，每個(gè)實(shí)例都有自己的計(jì)算核心，從而實(shí)現(xiàn) GPU 的全部計(jì)算能力。 MIG 通過(guò)隔離應(yīng)用程序并為每個(gè)應(yīng)用程序分配資源，緩解了應(yīng)用程序爭(zhēng)奪資源的問(wèn)題。 MIG 還允許更好的資源優(yōu)化和低延遲。

通過(guò)提供多達(dá)七個(gè)不同的分區(qū)，您可以支持從最小到最大的每個(gè)工作負(fù)載，并提供有效操作每個(gè)已部署應(yīng)用程序所需的確切計(jì)算能力。

除了性能之外， MIG 還為每個(gè)實(shí)例的計(jì)算、內(nèi)存和緩存分配了一組硬件資源，從而增加了安全性和彈性。 MIG 為工作負(fù)載提供故障隔離，其中一個(gè)實(shí)例中運(yùn)行的應(yīng)用程序引起的故障不會(huì)影響其他實(shí)例上運(yùn)行的應(yīng)用程序。如果一個(gè)工作負(fù)載失敗，所有其他工作負(fù)載將繼續(xù)不間斷地運(yùn)行，因?yàn)閷?shí)例和工作負(fù)載并行運(yùn)行，同時(shí)保持獨(dú)立和隔離。

MIG 同樣適用于容器或虛擬機(jī)（ VM ）。當(dāng)使用虛擬機(jī)時(shí)，使用 NVIDIA vGPU 可以很容易地虛擬化 GPU ，可以將其配置為使用時(shí)間切片或 MIG 。

MIG 用于邊緣 AI

在部署邊緣人工智能時(shí)，優(yōu)化成本、功率和空間都是重要的考慮因素，特別是如果您想要復(fù)制到數(shù)千個(gè)邊緣節(jié)點(diǎn)。通過(guò)允許組織在同一 GPU 上運(yùn)行多個(gè)應(yīng)用程序， MIG 消除了為每個(gè)工作負(fù)載安裝專用 GPU 的需要，顯著降低了資源需求。

除了資源優(yōu)化之外， MIG 還有助于確?？深A(yù)測(cè)的應(yīng)用程序性能。如果沒(méi)有 MIG ，在同一 GPU 上運(yùn)行的不同作業(yè)（如不同的 AI 推斷請(qǐng)求）會(huì)爭(zhēng)奪相同的資源，如內(nèi)存和帶寬。由于時(shí)間切片中固有的資源競(jìng)爭(zhēng)，一個(gè)應(yīng)用程序的性能可能會(huì)受到另一個(gè)應(yīng)用程序中活動(dòng)的影響。對(duì)于邊緣人工智能環(huán)境，不可預(yù)測(cè)的性能可能會(huì)產(chǎn)生嚴(yán)重后果。

例如，監(jiān)控生產(chǎn)線以檢測(cè)產(chǎn)品缺陷的計(jì)算機(jī)視覺(jué)應(yīng)用程序必須能夠即時(shí)對(duì)其動(dòng)態(tài)環(huán)境作出反應(yīng)。它必須能夠快速檢查產(chǎn)品，并且在出現(xiàn)缺陷產(chǎn)品的情況下，能夠與其他機(jī)器通信以停止生產(chǎn)線。為了安全和效率，組織必須知道，為其生產(chǎn)線供電的人工智能應(yīng)用程序一直在正確且可預(yù)測(cè)地運(yùn)行。

使用不同資源同時(shí)運(yùn)行的作業(yè)具有可預(yù)測(cè)的性能、服務(wù)質(zhì)量和最大 GPU 利用率，使 MIG 成為每個(gè)邊緣部署的重要補(bǔ)充。

圖 1 。每個(gè) MIG 實(shí)例可以處理一個(gè)獨(dú)立的工作負(fù)載，優(yōu)化需要同時(shí)操作多個(gè)用例的環(huán)境

MIG on NVIDIA Fleet Command

Fleet Command 是一種云服務(wù)，集中連接邊緣位置的系統(tǒng)，從一個(gè)儀表板安全部署、管理和擴(kuò)展人工智能應(yīng)用程序。專門(mén)為邊緣人工智能構(gòu)建， Fleet Command 是跨數(shù)百甚至數(shù)千臺(tái)設(shè)備編排人工智能的最佳方式。

通過(guò) Fleet Command 云平臺(tái)，管理員可以完全控制 MIG 進(jìn)行邊緣人工智能部署，只需最少的配置。在 Fleet Command 上使用 MIG 只需點(diǎn)擊幾下，您就可以跨數(shù)百甚至數(shù)千個(gè)設(shè)備做出資源利用率決策。您可以輕松地添加新的 MIG 分區(qū)，縮小現(xiàn)有分區(qū)，并創(chuàng)建自定義部署，所有這些都可以從一個(gè)儀表板上完成。

Fleet Command 和 MIG 的結(jié)合為組織提供了完全控制邊緣人工智能部署所需的所有功能，從而提高了工作負(fù)載的利用率和效率。

關(guān)于作者

Troy Estes 是 NVIDIA Edge 和企業(yè)計(jì)算解決方案的產(chǎn)品營(yíng)銷經(jīng)理。在加入 Edge & Enterprise 業(yè)務(wù)部門(mén)之前，特洛伊曾在自主汽車業(yè)務(wù)部門(mén)和 NVIDIA 電網(wǎng)產(chǎn)品集團(tuán)從事?tīng)I(yíng)銷活動(dòng)和支持產(chǎn)品 GTM 。

審核編輯：郭婷