數(shù)據(jù)中心依靠服務(wù)器為其計(jì)算密集型架構(gòu)提供支持

（文章來源：教育新聞網(wǎng)）

支持AI和ML部署的數(shù)據(jù)中心依靠基于圖形處理單元(GPU)的服務(wù)器為其計(jì)算密集型架構(gòu)提供支持。在多個(gè)行業(yè)中，到2024年，GPU使用量的增長將落后于GPU服務(wù)器預(yù)計(jì)超過31%的復(fù)合年增長率。這意味著將承擔(dān)更多的系統(tǒng)架構(gòu)師的職責(zé)，以確保GPU系統(tǒng)具有最高的性能和成本效益。

然而，為這些基于GPU的AI / ML工作負(fù)載優(yōu)化存儲(chǔ)并非易事。存儲(chǔ)系統(tǒng)必須高速處理海量數(shù)據(jù)，同時(shí)應(yīng)對(duì)兩個(gè)挑戰(zhàn)：

服務(wù)器利用率1)。GPU服務(wù)器對(duì)于訓(xùn)練大型AI / ML數(shù)據(jù)集所需的矩陣乘法和卷積非常高效。但是，GPU服務(wù)器的成本是典型CPU服務(wù)器的3倍。為了保持ROI，IT員工需要保持GPU繁忙。不幸的是，豐富的部署經(jīng)驗(yàn)表明GPU僅以30%的容量使用。

該2)。ML訓(xùn)練數(shù)據(jù)集通常遠(yuǎn)遠(yuǎn)超過GPU的本地RAM容量，從而創(chuàng)建了一個(gè)I / O瓶頸，分析人員將其稱為GPU存儲(chǔ)瓶頸。AI和ML系統(tǒng)最終要等待訪問存儲(chǔ)資源，這是因?yàn)樗鼈兊凝嫶笠?guī)模阻礙了及時(shí)訪問，從而影響了性能。為了解決這個(gè)問題，NVMe閃存固態(tài)硬盤逐漸取代了標(biāo)準(zhǔn)閃存固態(tài)硬盤，成為Al / ML存儲(chǔ)的首選。

NVMe支持大規(guī)模的IO并行性，性能約為同類SATA SSD的6倍，并且延遲降低了10倍，并且具有更高的電源效率。正如GPU推動(dòng)了高性能計(jì)算的發(fā)展一樣，NVMe閃存在降低延遲的同時(shí)，實(shí)現(xiàn)了更高的存儲(chǔ)性能，帶寬和IO / s。NVMe閃存解決方案可以將AI和ML數(shù)據(jù)集加載到應(yīng)用程序的速度更快，并且可以避免GPU匱乏。

此外，可通過高速網(wǎng)絡(luò)虛擬化NVMe資源的基于光纖的NVMe(NVMeoF)啟用了特別適用于AI和ML的存儲(chǔ)架構(gòu)。NVMeoF使GPU可以直接訪問NVMe的彈性池，因此可以使用本地閃存性能來訪問所有資源。它使AI數(shù)據(jù)科學(xué)家和HPC研究人員可以向應(yīng)用程序提供更多數(shù)據(jù)，以便他們更快地獲得更好的結(jié)果。

要獲得最佳的GPU存儲(chǔ)性能，就需要根據(jù)業(yè)務(wù)目標(biāo)對(duì)基礎(chǔ)架構(gòu)進(jìn)行微調(diào)。這里有四種方法可供考慮：

有效擴(kuò)展GPU存儲(chǔ)容量1)例如，InstaDeep為可能不需要或不需要運(yùn)行自己的AI堆棧的組織提供了AI即服務(wù)解決方案。因此，InstaDeep需要最大的ROI和可擴(kuò)展性。特別是，對(duì)多租戶的需求意味著基礎(chǔ)架構(gòu)必須隨時(shí)準(zhǔn)備就緒，以滿足各種工作負(fù)載和客戶端的性能要求。

InstaDeep基礎(chǔ)架構(gòu)團(tuán)隊(duì)在部署其第一個(gè)GPU服務(wù)器系統(tǒng)的早期就了解到，本地GPU服務(wù)器的存儲(chǔ)容量將太有限，只有4TB的本地存儲(chǔ)，而客戶的工作量則需要10到100 TB的TB。該團(tuán)隊(duì)研究了外部存儲(chǔ)選項(xiàng)，并注意到，使用傳統(tǒng)陣列它們將獲得更多的容量，但性能最終會(huì)阻礙AI工作負(fù)載，因?yàn)閼?yīng)用程序需要將數(shù)據(jù)移入和移出GPU系統(tǒng)，從而中斷工作流程并影響系統(tǒng)效率。

通過使用軟件定義的存儲(chǔ)在快速的RDMA網(wǎng)絡(luò)上合并NVMe閃存(一種將數(shù)據(jù)集加載速度提高10倍的方法)，InstaDeep可以實(shí)現(xiàn)更高的GPU容量利用率，消除了GPU瓶頸并提高了ROI，因?yàn)楝F(xiàn)有的GPU變得更加完整利用。
（責(zé)任編輯：fqj）