NVIDIA 在 MLPerf 測(cè)試中將推理帶到新高度

在最新 MLPerf 基準(zhǔn)測(cè)試中，NVIDIA H100 和 L4 GPU 將生成式 AI 和所有其他工作負(fù)載帶到了新的水平，Jetson AGX Orin 則在性能和效率方面都有所提升。

作為獨(dú)立的第三方基準(zhǔn)測(cè)試，MLPerf 仍是衡量 AI 性能的權(quán)威標(biāo)準(zhǔn)。自 MLPerf 誕生以來(lái)，NVIDIA 的 AI 平臺(tái)在訓(xùn)練和推理這兩個(gè)方面一直展現(xiàn)出領(lǐng)先優(yōu)勢(shì)，包括最新發(fā)布的 MLPerf Inference 3.0 基準(zhǔn)測(cè)試。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“三年前我們推出 A100 時(shí)，AI 世界由計(jì)算機(jī)視覺(jué)主導(dǎo)。如今，生成式 AI 已經(jīng)到來(lái)?！?/p>

“這正是我們打造 Hopper 的原因，其通過(guò) Transformer 引擎專為 GPT 進(jìn)行了優(yōu)化。最新的 MLPerf 3.0 凸顯了 Hopper 的性能比 A100 高出 4 倍?！?/p>

“下一階段的生成式 AI 需要高能效的新的 AI 基礎(chǔ)設(shè)施來(lái)訓(xùn)練大型語(yǔ)言模型?？蛻粽诖笠?guī)模采用 Hopper，以構(gòu)建由數(shù)萬(wàn)顆通過(guò) NVIDIA NVLink 和 InfiniBand 連接的 Hopper GPU 組成的 AI 基礎(chǔ)設(shè)施。”

“業(yè)界正努力推動(dòng)安全、可信的生成式 AI 取得新的進(jìn)展。而 Hopper 正在推動(dòng)這項(xiàng)重要的工作。”

最新 MLPerf 結(jié)果顯示，NVIDIA 將從云到邊緣的 AI 推理性能和效率帶到了一個(gè)新的水平。

具體而言，在 DGX H100 系統(tǒng)中運(yùn)行的 NVIDIA H100 Tensor Core GPU 在每項(xiàng) AI 推理測(cè)試（即在生產(chǎn)中運(yùn)行神經(jīng)網(wǎng)絡(luò)）中均展現(xiàn)出最高的性能。得益于軟件優(yōu)化，該 GPU 在 9 月首次亮相時(shí)就實(shí)現(xiàn)了高達(dá) 54%的性能提升。

針對(duì)醫(yī)療領(lǐng)域，H100 GPU 在 3D-UNet（MLPerf 醫(yī)學(xué)影像基準(zhǔn)測(cè)試）中的性能相比 9 月提高了 31%。

在 Transformer 引擎的加持下，基于 Hopper 架構(gòu)的 H100 GPU 在 BERT 上的表現(xiàn)十分優(yōu)異。BERT 是一個(gè)基于 transformer 的大型語(yǔ)言模型，它為如今已經(jīng)得到廣泛應(yīng)用的生成式 AI 奠定了基礎(chǔ)。

生成式 AI 使用戶可以快速創(chuàng)建文本、圖像、3D 模型等。從初創(chuàng)公司到云服務(wù)提供商，企業(yè)都在迅速采用這一能力，以實(shí)現(xiàn)新的業(yè)務(wù)模式和加速現(xiàn)有業(yè)務(wù)。

數(shù)億人現(xiàn)在正在使用 ChatGPT（同樣是一個(gè) transformer 模型）等生成式 AI 工具，以期得到即時(shí)響應(yīng)。

在這個(gè) AI 的 iPhone 時(shí)刻，推理性能至關(guān)重要。深度學(xué)習(xí)的部署幾乎無(wú)處不在，這推動(dòng)了從工廠車間到在線推薦系統(tǒng)等對(duì)推理性能的無(wú)盡需求。

L4 GPU 精彩亮相

NVIDIA L4 Tensor Core GPU 在本次 MLPerf 測(cè)試中首次亮相，其速度是上一代 T4 GPU 的 3 倍以上。這些加速器具有扁平的外形，可在幾乎所有的服務(wù)器中提供高吞吐量和低延遲。

L4 GPU 運(yùn)行了所有 MLPerf 工作負(fù)載。憑借對(duì)關(guān)鍵的 FP8 格式的支持，其在對(duì)性能要求很高的 BERT 模型上取得了非常驚人的結(jié)果。

除了出色的 AI 性能外，L4 GPU 的圖像解碼速度快了 10 倍，視頻處理速度快了 3.2 倍，同時(shí)圖形和實(shí)時(shí)渲染性能提高了 4 倍以上。

這些加速器兩周前在 GTC 上發(fā)布并已通過(guò)各大系統(tǒng)制造商和云服務(wù)提供商提供。L4 GPU 是 NVIDIA 在 GTC 上發(fā)布的 AI 推理平臺(tái)產(chǎn)品組合中的最新成員。

?

軟件和網(wǎng)絡(luò)在系統(tǒng)測(cè)試中大放異彩

NVIDIA 的全棧式 AI 平臺(tái)在一項(xiàng)全新 MLPerf 測(cè)試中展現(xiàn)了其領(lǐng)先優(yōu)勢(shì)。

被稱之為 Network-division 的基準(zhǔn)測(cè)試將數(shù)據(jù)傳輸至一個(gè)遠(yuǎn)程推理服務(wù)器。它反映了企業(yè)用戶將數(shù)據(jù)存儲(chǔ)在企業(yè)防火墻后面、在云上運(yùn)行 AI 作業(yè)的熱門場(chǎng)景。

在 BERT 測(cè)試中，遠(yuǎn)程 NVIDIA DGX A100 系統(tǒng)提供高達(dá) 96%的最大本地性能，其性能下降的原因之一是因?yàn)樗鼈冃枰却?CPU 完成部分任務(wù)。在單純依靠 GPU 進(jìn)行處理的 ResNet-50 計(jì)算機(jī)視覺(jué)測(cè)試中，它們達(dá)到了 100%的性能。

這兩個(gè)結(jié)果在很大程度上要?dú)w功于 NVIDIA Quantum InfiniBand 網(wǎng)絡(luò)、NVIDIA ConnectX SmartNIC 以及 NVIDIA GPUDirect 等軟件。

Orin 在邊緣的性能提升 3.2 倍

另外，相較于一年前的結(jié)果，NVIDIA Jetson AGX Orin 模塊化系統(tǒng)的能效提高了 63%，性能提高了 81%。Jetson AGX Orin 可在需要 AI 的狹小空間內(nèi)以低功率進(jìn)行推理，包括在由電池供電的系統(tǒng)上。

專為需要更小模塊、更低功耗的應(yīng)用而開發(fā)的 Jetson Orin NX 16G 在本次基準(zhǔn)測(cè)試中首次亮相便大放異彩。其性能是上一代 Jetson Xavier NX 處理器的 3.2 倍。

廣泛的 NVIDIA AI 生態(tài)

MLPerf 結(jié)果顯示，NVIDIA AI 得到了業(yè)內(nèi)最廣泛的機(jī)器學(xué)習(xí)生態(tài)系統(tǒng)的支持。

在這一輪測(cè)試中，有十家公司在 NVIDIA 平臺(tái)上提交了結(jié)果，包括華碩、戴爾科技、技嘉、新華三、聯(lián)想、寧暢、超微和超聚變等系統(tǒng)制造商和微軟 Azure 云服務(wù)。

他們所提交的結(jié)果表明，無(wú)論是在云端還是在自己的數(shù)據(jù)中心運(yùn)行的服務(wù)器中，用戶都可以通過(guò) NVIDIA AI 獲得出色的性能。

NVIDIA 的眾多合作伙伴也參與了 MLPerf，因?yàn)樗麄冎肋@是一個(gè)幫助客戶評(píng)估 AI 平臺(tái)和廠商的很有價(jià)值的工具。最新一輪結(jié)果表明，他們今天所提供的性能將隨著 NVIDIA 平臺(tái)的發(fā)展而不斷提升。

用戶需要的是“多面手”

NVIDIA AI 是唯一能夠在數(shù)據(jù)中心和邊緣計(jì)算中運(yùn)行所有 MLPerf 推理工作負(fù)載和場(chǎng)景的平臺(tái)。其全面的性能和效率讓用戶能夠成為真正的贏家。

用戶在實(shí)際應(yīng)用中通常會(huì)采用許多不同類型的神經(jīng)網(wǎng)絡(luò)，這些網(wǎng)絡(luò)往往需要實(shí)時(shí)提供答案。

例如，一個(gè) AI 應(yīng)用可能需要先理解用戶的語(yǔ)音請(qǐng)求，對(duì)圖像進(jìn)行分類、提出建議，然后以人聲作為語(yǔ)音來(lái)回答用戶。每個(gè)步驟都需要用到不同類型的 AI 模型。

MLPerf 基準(zhǔn)測(cè)試涵蓋了這些以及其他流行的 AI 工作負(fù)載，所以這些測(cè)試能夠確保 IT 決策者獲得可靠且可以靈活部署的性能。

用戶可以根據(jù) MLPerf 的結(jié)果做出明智的購(gòu)買決定，因?yàn)檫@些測(cè)試是透明的、客觀的。該基準(zhǔn)測(cè)試得到了包括 Arm、百度、Facebook AI、谷歌、哈佛大學(xué)、英特爾、微軟、斯坦福大學(xué)和多倫多大學(xué)在內(nèi)的廣泛支持。

可以使用的軟件

NVIDIA AI 平臺(tái)的軟件層 NVIDIA AI Enterprise 確保用戶能夠從他們的基礎(chǔ)設(shè)施投資中獲得最佳的性能以及在企業(yè)數(shù)據(jù)中心運(yùn)行 AI 所需的企業(yè)級(jí)支持、安全性和可靠性。

這些測(cè)試所使用的所有軟件都可以從 MLPerf 庫(kù)中獲得，因此任何人都可以獲得這些領(lǐng)先的結(jié)果。

各項(xiàng)優(yōu)化措施不斷地被整合到 NGC（NVIDIA 的 GPU 加速軟件目錄）上的容器中。本輪測(cè)試中提交的每項(xiàng)工作均使用了該目錄中的 NVIDIA TensorRT 優(yōu)化 AI 推理性能。

掃描海報(bào)二維碼，或點(diǎn)擊“閱讀原文”，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！