MLPerf 3.0最新發(fā)榜，戴爾AI和邊緣服務器拿下歷史最好成績

北美時間4月5日，全球權(quán)威 AI 基準測試 MLPerf 3.0 最新結(jié)果正式公布，戴爾新一代AI與邊緣計算服務器取得有史以來最好成績：

數(shù)據(jù)中心賽道，戴爾新一代GPU服務器PowerEdge XE9680斬獲3項第一、9項第二；

邊緣計算賽道，戴爾PowerEdge XR系列邊緣計算服務器拿下10項第一。

恭喜戴爾！

MLPerf由ML Commons聯(lián)盟組織，是全球最知名、參與度最高的AI計算基準測試，包含Training（訓練）和Inference（推理）兩大領(lǐng)域。MLPerf選擇AI各個熱門領(lǐng)域的經(jīng)典模型，在滿足技術(shù)規(guī)范前提下（如訓練精度、延遲等），對各大廠商的硬件、軟件和服務的訓練和推理性能提供公平的評估。

最新公布的AI推理基準測試MLPerf Inference v3.0，包含圖像分類ResNet-50、目標檢測RetinaNet、醫(yī)療圖像3D U-Net、語音識別RNN-T、自然語言處理BERT-Large、推薦系統(tǒng)DLRM等6個模型賽道，匯集了來自全球25個廠商超過6700條性能數(shù)據(jù)，以及2400條性能功耗數(shù)據(jù)。

MLPerf Inference v3.0的AI業(yè)務場景

在此次MLPerf Inference v3.0測試中，戴爾提交了27種不同的服務器配置，共計255項測試數(shù)據(jù)。產(chǎn)品涵蓋PowerEdge XE9680、R750xa、XR7620、XR5610等型號，參測的GPU型號包括NVIDIA H100、A100、A30、L4、T4、A2以及高通AI加速卡等，具有廣泛的選型參考性。

數(shù)據(jù)中心賽道表現(xiàn)

在MLPerf Inference最受關(guān)注的數(shù)據(jù)中心基準測試（Datacenter closed）中，戴爾16G PowerEdge服務器XE9680首次亮相便斬獲優(yōu)異成績。

8卡H100配置的PowerEdge XE9680參加了12項測試，所有測試成績均位居前2，其中在RetinaNet Server(目標檢測)、RetinaNet Offine(目標檢測)和RNN-T Server（語音識別）三個項目賽道皆拿下第1名的最優(yōu)成績。

Datacenter RetinaNet Server測試數(shù)據(jù)

Datacenter RetinaNet Offline測試數(shù)據(jù)

Datacenter R-NNT Server測試數(shù)據(jù)

同上一期的MLPerf Inference v2.1相比，PowerEdge XE9680將Dell在各個項目的最好成績分別提升了3倍-8.4倍。

戴爾的MLPerf Inference v3.0

與Inference v2.1成績對比

MLPerf Inference v3.0 Datacenter

全部Dell機型測試數(shù)據(jù)

邊緣計算賽道表現(xiàn)

邊緣計算是MLPerf關(guān)注的另一類AI推理的應用場景，有別于數(shù)據(jù)中心對極致算力的最求，邊緣計算場景對于計算設(shè)備部署的環(huán)境要求更加多元化，也更加看重計算設(shè)備的功耗與成本。因此，在滿足AI計算吞吐和延遲性能要求的前提下，提供更高性價比以及性能功耗比的AI計算解決方案，是戴爾在邊緣AI計算重點關(guān)注的內(nèi)容。

在此次MLPerf Inference v3.0 Edge closed power測試中（主要衡量邊緣AI計算的性能功耗比），戴爾XR系列邊緣計算優(yōu)化服務器在全部14項測試中取得了10個項目的最佳成績。其中， PowerEdge XR5610邊緣計算優(yōu)化服務器搭配NVIDIA最新發(fā)布的L4 GPU，取得9個項目第一，PowerEdge XR4000搭配NVIDIA A2 GPU，在BERT 99 Offline項目中取得了最佳成績。

* Dell XR5610參加的9個項目分別是ResNet Single Stream、Resnet Multi Stream、RetinaNet Single Stream,、RetinaNet Offline、3D-UNet 99 Single Stream、3D-UNet 99 Offline、3D-UNet 99.9 Offline、RNN-T Single Stream、BERT-99 Single Stream。

PowerEdge XR5610

PowerEdge XR4000

NVIDIA L4是一款單寬GPU加速卡，專為AI視頻和生成式AI用例而設(shè)計，較上一代GPU實現(xiàn)了2.7倍的生成式AI性能提升。Dell PowerEdge服務器在今年一季度開始提供對L4的選型支持。

以此次AI Inference v3.0 Edge的測試項目中的圖像分類ResNet-50與自然語言處理BERT-99為例，L4的推理計算性能分別達到T4的2.1倍和2.13倍。而同A10相比，L4絕大多數(shù)的規(guī)格指標與A10非常接近，功耗卻不到其一半，同時實現(xiàn)了大量成本節(jié)約。L4的發(fā)布，將成為未來AI推理計算具備高競爭力的GPU選型。

L4與T4 AI推理性能對比

當下，ChatGPT帶動了全球?qū)I大模型以及基于AI大模型的AIGC(人工智能內(nèi)容生成)的關(guān)注與投資熱潮。與之前的AI小模型相比，以ChatGPT為代表的大規(guī)模預訓練模型，參數(shù)規(guī)模增加了100倍-1000倍。訓練如此龐大的AI大模型需要更大的AI計算集群，以及更多的訓練數(shù)據(jù)集。

以O(shè)penAI的GPT為例，GPT-3擁有1750億參數(shù)，2020年GPT-3發(fā)布時訓練該模型使用了超過10000張NVIDIA GPU卡。而根據(jù)第三方測算，如果使用1024張A100/A800 GPU訓練GPT-3，仍然需要超過一個月的時間。

隨著AIGC時代的帶來，人工智能產(chǎn)業(yè)化對于AI算力的需求將被帶到一個新的高度。在本次MLPerf Inference v3.0測試中取得優(yōu)異成績的PowerEdge XE9680戴爾專為復雜計算和 AI/ML/DL 以及 HPC 密集型工作負載而構(gòu)建，可以快速開發(fā)、訓練及部署像ChatGPT這樣的大型機器學習模型，助推更多AIGC場景快速落地。

PowerEdge XE9680

此外，AI與邊緣的融合是未來AI計算的趨勢之一，越來越多的AI計算負載特別是AI推理計算將會出現(xiàn)在邊緣側(cè)。邊緣端IT設(shè)備的部署環(huán)境千差萬別，有的時候很難像核心數(shù)據(jù)中心擁有同樣完備的機房環(huán)境，可能會面臨更加復雜、惡劣的設(shè)備運行環(huán)境。

戴爾XR系列服務器對于高溫、低溫、海拔、防塵、抗震的運行環(huán)境有更強的適應能力，通過了電信和海事行業(yè)標準。機箱深度通常只有通用機架服務器的一半左右，機器外形更加精巧緊湊。

此次參加AI Inference v3.0 Edge項目測試的XR系列服務器，是戴爾科技專為面向邊緣計算場景設(shè)計與優(yōu)化的服務器，此前已發(fā)布了XE2420、XR12、XR11、XR4000等產(chǎn)品，今年陸續(xù)會有更多新品發(fā)布，請大家拭目以待！