全面解讀英偉達NVLink技術(shù)

NVIDIA NVLink已成為高性能計算（HPC）和人工智能領(lǐng)域的關(guān)鍵技術(shù)。本文深入探討了NVLink的復(fù)雜性，并介紹NVSwitch芯片、NVLink服務(wù)器和NVLink交換機，以揭示其在不斷演進的先進計算領(lǐng)域中的重要性。

《大模型技術(shù)能力測評合集》

1、大模型時代，智算網(wǎng)絡(luò)性能評測挑戰(zhàn)2、AIGC通用大模型產(chǎn)品測評篇（2023）3、人工智能大模型工業(yè)應(yīng)用準確性測評4、甲子星空坐標系：AIGC通用大模型產(chǎn)品測評篇5、AIGC通用大模型產(chǎn)品測評篇（2023）6、2023年中國大模型行研能力評測

什么是NVIDIA NVLink

NVLink是一種解決服務(wù)器內(nèi)GPU之間通信限制的協(xié)議。與傳統(tǒng)的PCIe交換機不同，NVLink帶寬有限，可以在服務(wù)器內(nèi)的GPU之間實現(xiàn)高速直接互連。第四代NVLink提供更高的帶寬，每條通道達到112Gbps，比PCIe Gen5通道速率快三倍。

NVLink旨在為GPU直接互連提供簡化、高速、點對點的網(wǎng)絡(luò)，相比傳統(tǒng)網(wǎng)絡(luò)減少了開銷。通過在不同層次提供CUDA加速，NVLink減少了與通信相關(guān)的網(wǎng)絡(luò)開銷。NVLink隨著GPU架構(gòu)的演進不斷發(fā)展，從P100的NVLink1到H100的NVLink4，如圖所示。NVLink 1.0、NVLink 2.0、NVLink 3.0和NVLink 4.0之間的關(guān)鍵區(qū)別在于連接方式、帶寬和性能。

NVSwitch芯片

NVSwitch芯片是一種物理芯片，類似于交換機ASIC，可通過高速的NVLink接口連接多個GPU，提高服務(wù)器內(nèi)的通信和帶寬。第三代NVIDIA NVSwitch可支持以900 GB/s的速率互連每對GPU。

NVSwitch3芯片具有64個NVLink4端口，提供總共12.8 Tbps的單向帶寬或3.2 TB/s的雙向帶寬。NVSwitch3芯片的獨特之處在于其集成了SHARP功能，對多個GPU單元的計算結(jié)果進行聚合和更新，減少網(wǎng)絡(luò)數(shù)據(jù)包并提高計算性能。

NVLink服務(wù)器

NVLink服務(wù)器采用NVLink和NVSwitch技術(shù)連接GPU，通常可在英偉達（NVIDIA）的DGX系列服務(wù)器或具有類似架構(gòu)的OEM HGX服務(wù)器中找到。這些服務(wù)器利用NVLink技術(shù)，提供出色的GPU互聯(lián)性、可擴展性和高性能計算能力。2022年，英偉達（NVIDIA）宣布推出第四代NVIDIA DGX系統(tǒng)，這是世界上首個采用新的NVIDIA DGX H100服務(wù)器構(gòu)建的AI平臺。

因此，NVLink服務(wù)器在科學(xué)計算、人工智能、大數(shù)據(jù)處理和數(shù)據(jù)中心等關(guān)鍵領(lǐng)域已經(jīng)變得不可或缺。通過提供強大的計算能力和高效的數(shù)據(jù)處理，NVLink服務(wù)器不僅滿足了這些領(lǐng)域的嚴格要求，還推動了這些領(lǐng)域的進步和創(chuàng)新。

NVLink交換機

2022年，英偉達（NVIDIA）將NVSwitch芯片獨立出來，并制作成NVLink交換機，用于連接主機之間的GPU設(shè)備。它采用了1U尺寸設(shè)計，具有32個OSFP端口；每個OSFP端口包含8個112G PAM4通道，每個交換機內(nèi)置2個NVSwitch3芯片。

NVLink網(wǎng)絡(luò)

NVSwitch物理交換機將多個NVLink GPU服務(wù)器連接成一個大型Fabric網(wǎng)絡(luò)，即NVLink網(wǎng)絡(luò)，解決了GPU之間的高速通信帶寬和效率問題。每個服務(wù)器都有獨立的地址空間，為NVLink網(wǎng)絡(luò)中的GPU提供數(shù)據(jù)傳輸、隔離和安全保護。當(dāng)系統(tǒng)啟動時，NVLink網(wǎng)絡(luò)通過軟件API自動建立連接，并可以在運行過程中更改地址。

該圖比較了NVLink網(wǎng)絡(luò)與傳統(tǒng)以太網(wǎng)網(wǎng)絡(luò)，演示了如何創(chuàng)建獨立于IP以太網(wǎng)并專用于GPU服務(wù)的NVLink網(wǎng)絡(luò)。

InfiniBand網(wǎng)絡(luò) VS NVLink網(wǎng)絡(luò)

InfiniBand網(wǎng)絡(luò)和NVLink網(wǎng)絡(luò)是在高性能計算和數(shù)據(jù)中心應(yīng)用中使用的兩種不同的網(wǎng)絡(luò)技術(shù)。它們有以下區(qū)別： 架構(gòu)和設(shè)計：InfiniBand網(wǎng)絡(luò)是一種采用多通道、高速串行連接的開放標準網(wǎng)絡(luò)技術(shù)，支持點對點和多播通信。NVLink網(wǎng)絡(luò)是由英偉達（NVIDIA）開發(fā)的專有技術(shù)，旨在實現(xiàn)GPU之間的高速直連。 應(yīng)用場景：InfiniBand網(wǎng)絡(luò)廣泛應(yīng)用于高性能計算集群和大規(guī)模數(shù)據(jù)中心。NVLink網(wǎng)絡(luò)主要用于大規(guī)模GPU集群、HPC、人工智能等領(lǐng)域。 帶寬和延遲：InfiniBand網(wǎng)絡(luò)提供高帶寬和低延遲的通信，提供更高的吞吐量和更短的傳輸延遲。NVLink網(wǎng)絡(luò)為GPU之間提供更高的帶寬和更低的延遲，以支持快速數(shù)據(jù)交換和協(xié)同計算。以下是使用NVLink網(wǎng)絡(luò)的H100和使用InfiniBand網(wǎng)絡(luò)的A100之間的帶寬比較。

結(jié)論

NVIDIA NVLink作為一項開創(chuàng)性的技術(shù)，徹底改變了高性能計算和人工智能領(lǐng)域。它能夠增強GPU之間的通信，提高性能，并實現(xiàn)無縫的并行處理，成為眾多高性能計算和人工智能應(yīng)用中不可或缺的組成部分。隨著先進計算領(lǐng)域的不斷發(fā)展，NVLink的重要性和影響力將不斷擴大，推動技術(shù)創(chuàng)新。

審核編輯：黃飛

?