NVIDIA Grace Hopper 超級芯片橫掃 MLPerf 推理基準(zhǔn)測試

從云端到網(wǎng)絡(luò)邊緣，NVIDIA GH200、H100 和 L4 GPU 以及 Jetson Orin 模組在運(yùn)行生產(chǎn)級 AI 時均展現(xiàn)出卓越性能。

NVIDIA GH200 Grace Hopper 超級芯片首次亮相 MLPerf 行業(yè)基準(zhǔn)測試，其運(yùn)行了所有數(shù)據(jù)中心推理測試，進(jìn)一步擴(kuò)大了 NVIDIA H100 Tensor Core GPU 的領(lǐng)先優(yōu)勢。

總體測試結(jié)果表明，NVIDIA AI 平臺無論是在云端還是網(wǎng)絡(luò)邊緣均展現(xiàn)出卓越的性能和通用性。

此外，NVIDIA 宣布推出全新推理軟件，該軟件將為用戶帶來性能、能效和總體擁有成本的大幅提升。

GH200 將一顆 Hopper GPU 和一顆 Grace CPU 連接到一個超級芯片中。這種組合提供了更大內(nèi)存、更快帶寬，能夠在 CPU 和 GPU 之間自動切換計算所需要的資源，實現(xiàn)性能最優(yōu)化。

具體而言，內(nèi)置 8 顆 H100 GPU 的 NVIDIA HGX H100系統(tǒng)，在本輪每項 MLPerf 推理測試中均實現(xiàn)了最高吞吐量。

Grace Hopper 超級芯片和 H100 GPU 在所有 MLPerf 數(shù)據(jù)中心測試中均處于領(lǐng)先地位，包括針對計算機(jī)視覺、語音識別和醫(yī)學(xué)成像的推理，以及應(yīng)用于生成式 AI 的推薦系統(tǒng)和大語言模型（LLM） 等對性能要求更高的用例。

總體而言，此次測試結(jié)果延續(xù)了自 2018 年 MLPerf 基準(zhǔn)測試推出以來，NVIDIA 在每一輪 AI 訓(xùn)練和推理中都處于領(lǐng)先性能的紀(jì)錄。

最新一輪 MLPerf 測試包括一項更新的推薦系統(tǒng)測試，并新增首個 GPT-J 上的推理基準(zhǔn)測試。GPT-J 是一個由 60 億個參數(shù)組成的大語言模型（LLM），而 AI 模型的大小通常根據(jù)它有多少參數(shù)來衡量。

為了應(yīng)對各類復(fù)雜的工作負(fù)載，NVIDIA 開發(fā)了一款能夠優(yōu)化推理的生成式 AI 軟件——TensorRT-LLM。該開源庫使客戶能夠在不增加成本的情況下將現(xiàn)有 H100 GPU 的推理性能提升兩倍以上。由于時間原因，TensorRT-LLM 沒有參加 8 月的 MLPerf 提交。

NVIDIA 的內(nèi)部測試表明， 在運(yùn)行 GPT-J 6B 模型時，相較于沒有使用 TensorRT-LLM 的上一代 GPU，在 H100 GPU 上使用 TensorRT-LLM 能夠?qū)崿F(xiàn)高達(dá) 8 倍的性能提升。

該軟件始于 NVIDIA 在對 Meta、AnyScale、Cohere、Deci、Grammarly、Mistral AI、MosaicML（現(xiàn)為 Databricks 的一部分）、OctoML、Tabnine 和Together AI 等領(lǐng)先公司進(jìn)行加速和優(yōu)化 LLM 推理時所做的工作。

MosaicML 在 TensorRT-LLM 的基礎(chǔ)上添加了所需的功能，并將這些功能集成到他們現(xiàn)有的服務(wù)堆棧中。Databricks 工程副總裁 Naveen Rao 表示：“這已成為相當(dāng)輕而易舉的事情?！?/p>

Rao 補(bǔ)充說：“TensorRT-LLM 簡單易用、功能豐富且高效。它為正在使用 NVIDIA GPU 的 LLM 服務(wù)提供了最先進(jìn)的性能，并使我們能夠?qū)⒐?jié)省的成本回饋給我們的客戶?！?/p>

TensorRT-LLM 是 NVIDIA 全棧 AI 平臺持續(xù)創(chuàng)新的最新實例。這類持續(xù)的軟件進(jìn)步為用戶帶來了無需額外成本即可實現(xiàn)隨著時間不斷提升的性能，并且廣泛適用于多樣化的 AI 工作負(fù)載。

在最新 MLPerf 基準(zhǔn)測試中，NVIDIA L4 GPU 運(yùn)行了所有工作負(fù)載，并全面展現(xiàn)了出色的性能。

例如，在緊湊型 72W PCIe 加速器中運(yùn)行時，L4 GPU 的性能比功耗超出其近 5 倍的 CPU 提高了 6 倍。

此外，L4 GPU 具有專用媒體引擎，與 CUDA 軟件搭配使用，在 NVIDIA 的測試中為計算機(jī)視覺提供了高達(dá) 120 倍的加速。

谷歌云和許多系統(tǒng)制造商現(xiàn)已支持 L4 GPU，為從消費互聯(lián)網(wǎng)服務(wù)到藥物研發(fā)各行業(yè)的客戶提供服務(wù)。

此外，NVIDIA 采用了一種全新模型壓縮技術(shù)來展示在一個 L4 GPU 上運(yùn)行 BERT LLM 的性能提升高達(dá) 4.7 倍。該結(jié)果體現(xiàn)在 MLPerf 的“開放分區(qū)”中，這個類別旨在展示新能力。

這項技術(shù)有望應(yīng)用于所有 AI 工作負(fù)載。它尤其適用于在空間和功耗受限的邊緣設(shè)備上運(yùn)行模型。

在另一個體現(xiàn)邊緣計算領(lǐng)導(dǎo)力的例證中，NVIDIA Jetson Orin 模塊化系統(tǒng)將邊緣 AI 和機(jī)器人應(yīng)用場景中常見的計算機(jī)視覺用例——目標(biāo)檢測的性能比上一輪測試提升高達(dá) 84%。

Jetson Orin 性能的提升得益于軟件可以充分利用該芯片的最新核心，如一個可編程視覺加速器、一顆 NVIDIA Ampere 架構(gòu) GPU 和一個專用深度學(xué)習(xí)加速器等。

MLPerf 基準(zhǔn)測試是透明且客觀的，因此用戶可以根據(jù)其結(jié)果做出明智的購買決定。該測試還涵蓋了豐富的用例和場景，能夠讓用戶獲得可靠且可以靈活部署的性能。

本輪提交測試結(jié)果的合作伙伴包括微軟 Azure 和 Oracle Cloud Infrastructure 等云服務(wù)提供商以及華碩、Connect Tech、戴爾科技、富士通、技嘉、惠與、聯(lián)想、QCT、超微等系統(tǒng)制造商。

總體而言，MLPerf 已得到 70 多家機(jī)構(gòu)的支持，包括阿里巴巴、Arm、思科、谷歌、哈佛大學(xué)、英特爾、Meta、微軟和多倫多大學(xué)等。

NVIDIA 在基準(zhǔn)測試中使用的所有軟件均可從 MLPerf 軟件庫中獲得，因此每個人都能實現(xiàn)全球領(lǐng)先的結(jié)果。我們不斷將這些優(yōu)化措施整合到 NVIDIA NGC 軟件中心的容器中供 GPU 應(yīng)用使用。

點擊“閱讀原文”閱讀技術(shù)博客，詳細(xì)了解我們?nèi)绾螌崿F(xiàn)這些最新的成果。