0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA H100 Tensor Core GPU性能比上一代GPU高出4.5 倍

NVIDIA英偉達(dá) ? 來(lái)源:NVIDIA英偉達(dá) ? 作者:NVIDIA英偉達(dá) ? 2022-09-13 15:29 ? 次閱讀

在行業(yè)標(biāo)準(zhǔn) AI 推理測(cè)試中,NVIDIA H100 GPU 創(chuàng)造多項(xiàng)世界紀(jì)錄、A100 GPU 在主流性能方面展現(xiàn)領(lǐng)先優(yōu)勢(shì)、Jetson AGX Orin 在邊緣計(jì)算方面處于領(lǐng)先地位。

在 MLPerf 行業(yè)標(biāo)準(zhǔn) AI 基準(zhǔn)測(cè)試中首次亮相的 NVIDIA H100 Tensor Core GPU 在所有工作負(fù)載推理中均創(chuàng)造了世界紀(jì)錄,其性能比上一代 GPU 高出 4.5 倍。

這些測(cè)試結(jié)果表明,對(duì)于那些需要在高級(jí) AI 模型上獲得最高性能的用戶來(lái)說(shuō),Hopper 是最優(yōu)選擇。

此外,NVIDIA A100 Tensor Core GPU 和用于 AI 機(jī)器人的 NVIDIA Jetson AGX Orin 模塊在所有 MLPerf 測(cè)試中繼續(xù)表現(xiàn)出整體領(lǐng)先的推理性能,包括圖像和語(yǔ)音識(shí)別自然語(yǔ)言處理和推薦系統(tǒng)。

H100 (又名 Hopper)提高了本輪測(cè)試所有六個(gè)神經(jīng)網(wǎng)絡(luò)中的單加速器性能標(biāo)桿。它在單個(gè)服務(wù)器和離線場(chǎng)景中展現(xiàn)出吞吐量和速度方面的領(lǐng)先優(yōu)勢(shì)。

18e4d860-3041-11ed-ba43-dac502259ad0.jpg

NVIDIA H100 GPU 在數(shù)據(jù)中心類別的所有工作負(fù)載上都樹(shù)立了新標(biāo)桿

NVIDIA Hopper 架構(gòu)的性能比 NVIDIA Ampere 架構(gòu)高出 4.5 倍;Ampere 架構(gòu) GPU 在 MLPerf 結(jié)果中繼續(xù)保持全方位領(lǐng)先地位。

Hopper 在流行的用于自然語(yǔ)言處理的 BERT 模型上表現(xiàn)出色部分歸功于其 Transformer Engine。BERT 是 MLPerf AI 模型中規(guī)模最大、對(duì)性能要求最高的的模型之一。

這些推理基準(zhǔn)測(cè)試標(biāo)志著 H100 GPU 的首次公開(kāi)亮相,它將于今年晚些時(shí)候上市。H100 GPU 還將參加未來(lái)的 MLPerf 訓(xùn)練基準(zhǔn)測(cè)試。

A100 GPU 展現(xiàn)領(lǐng)先優(yōu)勢(shì)

最新測(cè)試中,NVIDIA A100 GPU 繼續(xù)在主流 AI 推理性能方面展現(xiàn)出全方位領(lǐng)先,目前主要的云服務(wù)商和系統(tǒng)制造商均提供 A100 GPU。

在數(shù)據(jù)中心和邊緣計(jì)算類別與場(chǎng)景中,A100 GPU 贏得的測(cè)試項(xiàng)超過(guò)了任何其他提交的結(jié)果。A100 還在 6 月的 MLPerf 訓(xùn)練基準(zhǔn)測(cè)試中取得了全方位的領(lǐng)先,展現(xiàn)了其在整個(gè) AI 工作流中的能力。

自 2020 年 7 月在 MLPerf 上首次亮相以來(lái)由于 NVIDIA AI 軟件的不斷改進(jìn),A100 GPU 的性能已經(jīng)提升了 6 倍。

NVIDIA AI 是唯一能夠在數(shù)據(jù)中心和邊緣計(jì)算中運(yùn)行所有 MLPerf 推理工作負(fù)載和場(chǎng)景的平臺(tái)。

用戶需要通用性能

NVIDIA GPU 在所有主要 AI 模型上的領(lǐng)先性能,使用戶成為真正的贏家。用戶在實(shí)際應(yīng)用中通常會(huì)采用許多不同類型的神經(jīng)網(wǎng)絡(luò)。

例如,一個(gè)AI 應(yīng)用可能需要理解用戶的語(yǔ)音請(qǐng)求、對(duì)圖像進(jìn)行分類、提出建議,然后以人聲作為語(yǔ)音信息提供回應(yīng)。每個(gè)步驟都需要用到不同類型的 AI 模型。

MLPerf 基準(zhǔn)測(cè)試涵蓋了所有這些和其他流行的 AI 工作負(fù)載與場(chǎng)景,比如計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、推薦系統(tǒng)、語(yǔ)音識(shí)別等。這些測(cè)試確保用戶將獲得可靠且部署靈活的性能。

MLPerf 憑借其透明性和客觀性使用戶能夠做出明智的購(gòu)買決定。該基準(zhǔn)測(cè)試得到了包括亞馬遜、Arm、百度、谷歌、哈佛大學(xué)、英特爾、Meta、微軟、斯坦福大學(xué)和多倫多大學(xué)在內(nèi)的廣泛支持。

Orin 在邊緣計(jì)算領(lǐng)域保持領(lǐng)先

在邊緣計(jì)算方面,NVIDIA Orin 運(yùn)行了所有 MLPerf 基準(zhǔn)測(cè)試,是所有低功耗系統(tǒng)級(jí)芯片中贏得測(cè)試最多的芯片。并且,與 4 月在 MLPerf 上的首次亮相相比,其能效提高了50%。

在上一輪基準(zhǔn)測(cè)試中,Orin 的運(yùn)行速度和平均能效分別比上一代 Jetson AGX Xavier 模塊高出 5 倍和 2 倍。

195dec3c-3041-11ed-ba43-dac502259ad0.jpg

在能效方面,Orin 邊緣 AI 推理性能提升多達(dá) 50%

Orin 將 NVIDIA Ampere 架構(gòu) GPU 和強(qiáng)大的 Arm CPU 內(nèi)核集成到一塊芯片中。目前,Orin 現(xiàn)已被用在 NVIDIA Jetson AGX Orin 開(kāi)發(fā)者套件以及機(jī)器人和自主系統(tǒng)生產(chǎn)模塊,并支持完整的 NVIDIA AI 軟件堆棧,,包括自動(dòng)駕駛汽車平臺(tái)(NVIDIA Hyperion)、醫(yī)療設(shè)備平臺(tái)(Clara Holoscan)和機(jī)器人平臺(tái)(Isaac)。

廣泛的 NVIDIA AI 生態(tài)系統(tǒng)

MLPerf 結(jié)果顯示,NVIDIA AI 得到了業(yè)界最廣泛的機(jī)器學(xué)習(xí)生態(tài)系統(tǒng)的支持。

在這一輪基準(zhǔn)測(cè)試中,有超過(guò) 70 項(xiàng)提交結(jié)果在 NVIDIA 平臺(tái)上運(yùn)行。例如,Microsoft Azure 提交了在其云服務(wù)上運(yùn)行 NVIDIA AI 的結(jié)果。

此外,10 家系統(tǒng)制造商的 19 個(gè) NVIDIA 認(rèn)證系統(tǒng)參加了本輪基準(zhǔn)測(cè)試,包括華碩、戴爾科技、富士通、技嘉、慧與、聯(lián)想、和超微等。

它們的結(jié)果表明,無(wú)論是在云端還是在自己數(shù)據(jù)中心運(yùn)行的服務(wù)器中,用戶都可以借助 NVIDIA AI 獲得出色的性能。

NVIDIA 的合作伙伴參與 MLPerf 是因?yàn)樗麄冎肋@是一個(gè)為客戶評(píng)估 AI 平臺(tái)和廠商的重要工具。最新一輪結(jié)果表明,他們目前向用戶提供的性能將隨著 NVIDIA 平臺(tái)的發(fā)展而增長(zhǎng)。

用于這些測(cè)試的所有軟件都可以從 MLPerf 庫(kù)中獲得,因此任何人都可以獲得這些世界級(jí)成果。NGC( NVIDIA 的 GPU 加速軟件目錄)上正在源源不斷地增加以容器化形式提供的優(yōu)化。在這里,你還會(huì)發(fā)現(xiàn) NVIDIA TensorRT,本輪測(cè)試的每此提交都使用它來(lái)優(yōu)化 AI 推斷。

審核編輯:彭靜
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 機(jī)器人
    +關(guān)注

    關(guān)注

    210

    文章

    28109

    瀏覽量

    205860
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    4856

    瀏覽量

    102711
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4673

    瀏覽量

    128594
  • 英偉達(dá)
    +關(guān)注

    關(guān)注

    22

    文章

    3721

    瀏覽量

    90693
  • H100
    +關(guān)注

    關(guān)注

    0

    文章

    31

    瀏覽量

    277

原文標(biāo)題:NVIDIA Hopper 首次亮相 MLPerf,在 AI 推理基準(zhǔn)測(cè)試中一騎絕塵

文章出處:【微信號(hào):NVIDIA_China,微信公眾號(hào):NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    英偉達(dá)發(fā)布新一代H200,搭載HBM3e,推理速度是H100!

    兼容,在推理速度上幾乎達(dá)到H100的兩。H200預(yù)計(jì)將于明年二季度開(kāi)始交付。此外,英偉達(dá)還透露,下一代Blackwell B100
    的頭像 發(fā)表于 11-15 01:15 ?3390次閱讀
    英偉達(dá)發(fā)布新<b class='flag-5'>一代</b><b class='flag-5'>H</b>200,搭載HBM3e,推理速度是<b class='flag-5'>H100</b>兩<b class='flag-5'>倍</b>!

    英偉達(dá)H100芯片市場(chǎng)降溫

    隨著英偉達(dá)新一代AI芯片GB200需求的不斷攀升,其上一代明星產(chǎn)品H100芯片卻遭遇了市場(chǎng)的冷落。據(jù)業(yè)內(nèi)人士透露,搭載H100的服務(wù)器通常以8卡的形式進(jìn)行出售或出租,而在去年,這類服務(wù)
    的頭像 發(fā)表于 10-28 15:42 ?260次閱讀

    AMD與NVIDIA GPU優(yōu)缺點(diǎn)

    在圖形處理單元(GPU)市場(chǎng),AMD和NVIDIA是兩大主要的競(jìng)爭(zhēng)者,它們各自推出的產(chǎn)品在性能、功耗、價(jià)格等方面都有著不同的特點(diǎn)和優(yōu)勢(shì)。 、性能
    的頭像 發(fā)表于 10-27 11:15 ?372次閱讀

    馬斯克宣布,將于10萬(wàn)枚專用芯片中訓(xùn)練新一代聊天機(jī)器人與超級(jí)計(jì)算機(jī)

    此外,馬斯克計(jì)劃將這些芯片整合至臺(tái)超大容量的超級(jí)計(jì)算機(jī),稱之為“算力超能工場(chǎng)”。他承諾,這個(gè)由NVIDIA H100組成的芯片組合將比現(xiàn)有的最大GPU集群的容量還要
    的頭像 發(fā)表于 05-27 16:05 ?674次閱讀

    進(jìn)步解讀英偉達(dá) Blackwell 架構(gòu)、NVlink及GB200 超級(jí)芯片

    Tensor Core GPU支持多達(dá)18個(gè)NVLink連接,每個(gè)連接速度可達(dá)100 GB/秒,總帶寬達(dá)到1.8 TB/秒,是上一代產(chǎn)品的
    發(fā)表于 05-13 17:16

    英偉達(dá)發(fā)布性能大幅提升的新款B200 AI GPU

    英偉達(dá)宣稱,B200在性能上比以往最好的GPU快30不止。由它構(gòu)成的服務(wù)器集群相比上一代,運(yùn)算能力飛躍性提升,甚至能使大語(yǔ)言模型的訓(xùn)練速度翻番。
    的頭像 發(fā)表于 03-20 09:37 ?712次閱讀

    H100 GPU供應(yīng)改善,AI市場(chǎng)需求依舊強(qiáng)勁

    值得注意的是,H100 GPU的供求關(guān)系已經(jīng)緩解,且維護(hù)成本高起,部分客戶正在置換這類硬件以轉(zhuǎn)向云服務(wù),這種轉(zhuǎn)變?cè)谶^(guò)去的市場(chǎng)緊縮中很少見(jiàn)到。同時(shí),市場(chǎng)上雖然有其他選擇如AMD的MI300 GPU
    的頭像 發(fā)表于 02-29 16:10 ?637次閱讀

    巨頭豪購(gòu)35萬(wàn)塊NVIDIA最強(qiáng)GPU H100

    NVIDIA AI GPU無(wú)疑是當(dāng)下的硬通貨,從科技巨頭到小型企業(yè)都在搶。
    的頭像 發(fā)表于 01-29 09:58 ?995次閱讀
    巨頭豪購(gòu)35萬(wàn)塊<b class='flag-5'>NVIDIA</b>最強(qiáng)<b class='flag-5'>GPU</b> <b class='flag-5'>H100</b>

    英偉達(dá)和華為/海思主流GPU型號(hào)性能參考

    句話總結(jié),H100 vs. A100:3 性能,2 價(jià)格 值得注意的是,HCCS vs
    發(fā)表于 12-29 11:43 ?5202次閱讀
    英偉達(dá)和華為/海思主流<b class='flag-5'>GPU</b>型號(hào)<b class='flag-5'>性能</b>參考

    AI服務(wù)器的內(nèi)存接口芯片技術(shù)

    DXG 服務(wù)器配備 8 塊 H100 GPU,6400億個(gè)晶體管,在全新的 FP8 精度下 AI 性能比上一代高 6 ,可提供 900GB/s 的帶寬。
    發(fā)表于 12-13 09:23 ?815次閱讀
    AI服務(wù)器的內(nèi)存接口芯片技術(shù)

    FlashAttention2詳解(性能比FlashAttention提升200%)

    GPU performance characteristics. GPU主要計(jì)算單元(如浮點(diǎn)運(yùn)算單元)和內(nèi)存層次結(jié)構(gòu)。大多數(shù)現(xiàn)代GPU包含專用的低精度矩陣乘法單元(如Nvidia
    的頭像 發(fā)表于 11-24 16:21 ?1187次閱讀
    FlashAttention2詳解(<b class='flag-5'>性能比</b>FlashAttention提升200%)

    英偉達(dá)H100,沒(méi)那么缺貨了 !RTX 4090 ,大漲

    這樣,在云端使用 H100 GPU 的排隊(duì)時(shí)間可能會(huì)縮短。數(shù)據(jù)中心提供商和前比特幣挖礦公司正在開(kāi)設(shè)具有 H100 集群的數(shù)據(jù)中心。這些公司承諾以大型云提供商成本的小部分提供
    的頭像 發(fā)表于 11-23 15:59 ?1656次閱讀

    英偉達(dá)特供版芯片將上市:性能最高不到H100的20%

    本周四,些媒體首次報(bào)道了英偉達(dá)特供芯片的消息。報(bào)道稱,這三款新產(chǎn)品是在 H100 GPU 的基礎(chǔ)版本基礎(chǔ)上進(jìn)行修改的,采用的是最新架構(gòu),但性能大幅度縮減。
    的頭像 發(fā)表于 11-13 16:44 ?916次閱讀
    英偉達(dá)特供版芯片將上市:<b class='flag-5'>性能</b>最高不到<b class='flag-5'>H100</b>的20%

    揭秘:英偉達(dá)H100最強(qiáng)替代者

    目前,用于高端推理的 GPU 主要有三種:NVIDIA A100NVIDIA H100 和新的 NVI
    的頭像 發(fā)表于 11-13 16:13 ?1525次閱讀
    揭秘:英偉達(dá)<b class='flag-5'>H100</b>最強(qiáng)替代者

    傳英偉達(dá)新AI芯片H20綜合算力比H100降80%

    但據(jù)悉,三種新型AI芯片不是“改良型”,而是“縮小型”。用于ai模型教育的hgx h20的帶寬和計(jì)算速度是有限的。整體計(jì)算能力理論上比nvidiah100 gpu芯片低80%左右。
    的頭像 發(fā)表于 11-13 09:41 ?1636次閱讀