關(guān)于NVIDIA H100 GPU的問題解答

NVIDIA 帶來知乎精彩問答甄選系列，將為您精選知乎上有關(guān) NVIDIA 產(chǎn)品的精彩問答。

本期為問答甄選第二期 ——探索 H100 的奧秘！

NVIDIA H100 是全球 AI 基礎(chǔ)設(shè)施的引擎，

讓企業(yè)能夠利用其實(shí)現(xiàn)自身 AI 業(yè)務(wù)的加速。

今年的 GTC22 上 NVIDIA 發(fā)布其首款基于 Hopper 架構(gòu)的 GPU —NVIDIA H100。

該款 GPU 集成了 800 億個(gè)晶體管。H100 是全球范圍內(nèi)最大的性能出眾的加速器，擁有革命性的 Transformer 引擎和高度可擴(kuò)展的 NVIDIA NVLink 互連技術(shù)等突破性功能，可推動龐大的 AI 語言模型、深度推薦系統(tǒng)、基因組學(xué)和復(fù)雜數(shù)字孿生的發(fā)展。

以下三個(gè)知乎甄選問答將為您了解NVIDIA H100帶來更加精彩的解答！

Q：NVIDIA GTC 2022 大會官宣，Hopper 計(jì)算架構(gòu)要來了，該架構(gòu)有哪些值得期待的亮點(diǎn)？

A：NVIDIA 宣布推出采用 NVIDIA Hopper架構(gòu)的新一代加速計(jì)算平臺。與上一代產(chǎn)品相比，該平臺實(shí)現(xiàn)了數(shù)量級的性能飛躍。這一全新架構(gòu)以美國計(jì)算機(jī)領(lǐng)域的先驅(qū)科學(xué)家 Grace Hopper 的名字命名，將取代兩年前推出的 NVIDIA Ampere 架構(gòu)。

使用 Transformer 引擎訓(xùn)練 AI 模型：

隨著一些模型（例如大型語言模型）達(dá)到數(shù)萬億參數(shù)，AI、高性能計(jì)算和數(shù)據(jù)分析變得日益復(fù)雜。在當(dāng)今計(jì)算平臺上，大型 AI 模型可能需要數(shù)月來完成訓(xùn)練。而這樣的速度對于企業(yè)來說太慢了。

NVIDIA Hopper 架構(gòu)從頭開始構(gòu)建，憑借強(qiáng)大的算力和快速的內(nèi)存來加速這些新一代 AI 工作負(fù)載，從而處理日益增長的網(wǎng)絡(luò)和數(shù)據(jù)集。Transformer 引擎是全新 Hopper 架構(gòu)的一部分，將顯著提升 AI 性能和功能，并助力在幾天或幾小時(shí)內(nèi)訓(xùn)練大型模型。

Transformer 引擎采用 16 位浮點(diǎn)精度和新增的 8 位浮點(diǎn)數(shù)據(jù)格式，并整合先進(jìn)的軟件算法，將進(jìn)一步提升 AI 性能和功能。

采用全新 DPX 指令將動態(tài)編程速度提升 40 倍：

NVIDIA Hopper GPU 架構(gòu)利用全新 DPX 指令，將動態(tài)編程速度提高多達(dá) 40 倍。動態(tài)編程是一種應(yīng)用于基因組學(xué)、量子計(jì)算、路線優(yōu)化等領(lǐng)域算法中，用以解決問題的技術(shù)。

Q：基于 Hopper 架構(gòu)的 NVIDIA H100 GPU 有什么突破性創(chuàng)新？

A：H100 GPU 為加速大規(guī)模 AI 和 HPC 設(shè)定了新的標(biāo)準(zhǔn)，帶來了六項(xiàng)突破性創(chuàng)新：

先進(jìn)的芯片—— H100 由 800 億個(gè)晶體管構(gòu)建而成，這些晶體管采用了專為 NVIDIA 加速計(jì)算需求設(shè)計(jì)的尖端的 TSMC 4N 工藝，因而能夠顯著提升 AI、HPC、顯存帶寬、互連和通信的速度，并能夠?qū)崿F(xiàn)近 5TB/s 的外部互聯(lián)帶寬。H100 是首款支持 PCIe 5.0 的 GPU，也是首款采用 HBM3 的 GPU，可實(shí)現(xiàn) 3TB/s 的顯存帶寬。20個(gè) H100 GPU 便可承載相當(dāng)于全球互聯(lián)網(wǎng)的流量，使其能夠幫助客戶推出先進(jìn)的推薦系統(tǒng)以及實(shí)時(shí)運(yùn)行數(shù)據(jù)推理的大型語言模型。

新的 Transformer 引擎—— Transformer 現(xiàn)在已成為自然語言處理的標(biāo)準(zhǔn)模型方案，也是深度學(xué)習(xí)模型領(lǐng)域最重要的模型之一。H100 加速器的 Transformer 引擎旨在不影響精度的情況下，將這些網(wǎng)絡(luò)的速度提升至上一代的六倍。

第二代安全多實(shí)例 GPU—— MIG 技術(shù)支持將單個(gè) GPU 分為七個(gè)更小且完全獨(dú)立的實(shí)例，以處理不同類型的作業(yè)。與上一代產(chǎn)品相比，在云環(huán)境中 Hopper 架構(gòu)通過為每個(gè) GPU 實(shí)例提供安全的多租戶配置，將 MIG 的部分能力擴(kuò)展了 7 倍。

機(jī)密計(jì)算—— H100 是全球首款具有機(jī)密計(jì)算功能的加速器，可保護(hù) AI 模型和正在處理的客戶數(shù)據(jù)。客戶還可以將機(jī)密計(jì)算應(yīng)用于醫(yī)療健康和金融服務(wù)等隱私敏感型行業(yè)的聯(lián)邦學(xué)習(xí)，也可以應(yīng)用于共享云基礎(chǔ)設(shè)施。

第 4 代 NVIDIA NVLink—— 為加速大型 AI 模型，NVLink 結(jié)合全新的外接 NVLink Switch，可將 NVLink 擴(kuò)展為服務(wù)器間的互聯(lián)網(wǎng)絡(luò)，最多可以連接多達(dá) 256 個(gè) H100 GPU，相較于上一代采用 NVIDIA HDR Quantum InfiniBand網(wǎng)絡(luò)，帶寬高出9倍。

DPX 指令—— 新的 DPX 指令可加速動態(tài)規(guī)劃，適用于包括路徑優(yōu)化和基因組學(xué)在內(nèi)的一系列算法，與 CPU 和上一代 GPU 相比，其速度提升分別可達(dá) 40 倍和 7 倍。Floyd-Warshall 算法與 Smith-Waterman 算法也在其加速之列，前者可以在動態(tài)倉庫環(huán)境中為自主機(jī)器人車隊(duì)尋找最優(yōu)線路，而后者可用于 DNA 和蛋白質(zhì)分類與折疊的序列比對。

H100 的多項(xiàng)技術(shù)創(chuàng)新相結(jié)合，進(jìn)一步擴(kuò)大了 NVIDIA在 AI 推理和訓(xùn)練的領(lǐng)導(dǎo)地位，利用大規(guī)模 AI 模型實(shí)現(xiàn)了實(shí)時(shí)沉浸式應(yīng)用。H100 將支持聊天機(jī)器人使用功能超強(qiáng)大的monolithic Transformer 語言模型 Megatron 530B，吞吐量比上一代產(chǎn)品高出 30 倍，同時(shí)滿足實(shí)時(shí)對話式 AI 所需的次秒級延遲。利用 H100，研究人員和開發(fā)者能夠訓(xùn)練龐大的模型，如包含 3950 億個(gè)參數(shù)的混合專家模型，訓(xùn)練速度加速高達(dá)9倍，將訓(xùn)練時(shí)間從幾周縮短到幾天。

Q：NVIDIA H100 在 AI 基礎(chǔ)架構(gòu)方面有什么作用？

A：基于 Hopper 架構(gòu)的 NVIDIA H100，是“全球 AI 基礎(chǔ)架構(gòu)的新引擎”。

語音、對話、客服和推薦系統(tǒng)等 AI 應(yīng)用正在推動數(shù)據(jù)中心設(shè)計(jì)領(lǐng)域的巨大變革?！癆I 數(shù)據(jù)中心需要處理海量且持續(xù)的數(shù)據(jù)，以訓(xùn)練和完善 AI 模型，原始數(shù)據(jù)進(jìn)來，經(jīng)過提煉，然后智能輸出——企業(yè)正在制造智能并運(yùn)營大型 AI 工廠。” 這些工廠全天候密集運(yùn)行，即便是質(zhì)量上的小幅改進(jìn)也能大幅增加客戶參與和企業(yè)利潤。

H100 將幫助這些工廠更快發(fā)展。這個(gè) “龐大” 的 800 億晶體管芯片采用了臺積電的 4 納米工藝制造而成。

“Hopper H100 是有史以來最大的一次性能飛躍——其大規(guī)模訓(xùn)練性能是 A100 的 9 倍，大型語言模型推理吞吐量是 A100 的 30 倍?！?/p>

審核編輯：湯梓紅