端到端InfiniBand網(wǎng)絡解決LLM訓練瓶頸

ChatGPT對技術的影響引發(fā)了對人工智能未來的預測，尤其是多模態(tài)技術的關注。OpenAI推出了具有突破性的多模態(tài)模型GPT-4，使各個領域取得了顯著的發(fā)展。 這些AI進步是通過大規(guī)模模型訓練實現(xiàn)的，這需要大量的計算資源和高速數(shù)據(jù)傳輸網(wǎng)絡。端到端InfiniBand（IB）網(wǎng)絡作為高性能計算和AI模型訓練的理想選擇，發(fā)揮著重要作用。在本文中，我們將深入探討大型語言模型（LLM）訓練的概念，并探索端到端InfiniBand網(wǎng)絡在解決LLM訓練瓶頸方面的必要性。

大型語言模型（LLM）和ChatGPT之間是否存在聯(lián)系

訓練大型語言模型（LLM）面臨的瓶頸主要與GPU計算集群內(nèi)的數(shù)據(jù)傳輸和通信有關。隨著大型語言模型的增長，對高速可靠網(wǎng)絡的需求變得至關重要。例如，具有1.75萬億參數(shù)的GPT-3的模型無法在單機上訓練，而是嚴重依賴于GPU集群。主要瓶頸在于在訓練集群中高效地在節(jié)點之間傳輸數(shù)據(jù)。

階段1：環(huán)形全約減

一種常用的GPU通信算法是環(huán)形全約減，其中GPU形成一個環(huán)，使數(shù)據(jù)在環(huán)內(nèi)流動。每個GPU都有一個左鄰和一個右鄰，數(shù)據(jù)只向右鄰發(fā)送，從左鄰接收。該算法包括兩個步驟：散射-約減和全收集。在散射-約減步驟中，GPU交換數(shù)據(jù)以獲得最終結(jié)果的一個塊。在全收集步驟中，GPU交換這些塊，以確保所有GPU都具有完整的最終結(jié)果。

階段2：雙階段環(huán)形

過去由于帶寬有限且沒有NVLink或RDMA技術，一個大型環(huán)對于單機和多機分布已經(jīng)足夠。然而，隨著NVLink在單機內(nèi)的引入，相同的方法不再適用。網(wǎng)絡帶寬遠低于NVLink的帶寬，因此采用一個大環(huán)將大幅降低NVLink的效率到網(wǎng)絡的水平。此外，在當前的多網(wǎng)卡環(huán)境中，僅利用一個環(huán)無法充分利用多個網(wǎng)卡。因此，建議采用雙階段環(huán)方法來解決這些問題。 在雙階段環(huán)形場景中，數(shù)據(jù)同步發(fā)生在單臺機器內(nèi)的GPU之間，利用了NVLink的高帶寬優(yōu)勢。隨后，跨多臺機器的GPU使用多個網(wǎng)卡建立多個環(huán)形，以同步來自不同段的數(shù)據(jù)。最后，單臺機器內(nèi)的GPU再次進行同步，完成所有GPU之間的數(shù)據(jù)同步。值得注意的是，NVIDIA集體通信庫（NCCL）在這個過程中發(fā)揮了關鍵作用。

NVIDIA集體通信庫（NCCL）包括針對NVIDIA GPU和網(wǎng)絡進行優(yōu)化的多GPU和多節(jié)點通信例程。NCCL為全收集、全約減、廣播、約減、約減散開和點對點發(fā)送和接收操作提供高效的基本操作。這些例程經(jīng)過優(yōu)化，以實現(xiàn)高帶寬和低延遲，利用節(jié)點內(nèi)和NVIDIA Mellanox網(wǎng)絡通過PCIe和NVLink高速互連。

通過解決數(shù)據(jù)傳輸和通信中的瓶頸問題，GPU計算集群的進步以及利用NCCL等工具的使用有助于克服大型語言模型訓練中的挑戰(zhàn)，為AI研究和開發(fā)進一步的突破鋪平了道路。

端到端InfiniBand網(wǎng)絡解決方案如何提供幫助

在大型模型訓練中，以太網(wǎng)在傳輸速率和延遲方面存在不足。相比之下，端到端InfiniBand網(wǎng)絡提供了高性能計算解決方案，能夠提供高達400 Gbps的傳輸速率和微秒級的延遲。因此，InfiniBand已成為大規(guī)模模型訓練的理想選擇。

數(shù)據(jù)冗余和錯誤糾正機制

端到端InfiniBand網(wǎng)絡的一個關鍵優(yōu)勢是其對數(shù)據(jù)冗余和錯誤糾正機制的支持，確保可靠的數(shù)據(jù)傳輸。在大規(guī)模模型訓練中，由于處理的數(shù)據(jù)量巨大，傳輸錯誤或數(shù)據(jù)丟失會對訓練過程產(chǎn)生不利影響，這一點尤為重要。通過利用InfiniBand的強大功能，可以較大程度地減少由于數(shù)據(jù)傳輸問題引起的中斷或故障。

本地子網(wǎng)的配置和維護

在InfiniBand互連協(xié)議中，每個節(jié)點都配備有一個主機通道適配器（HCA），負責與主機設備建立和維護鏈接。交換機具有多個端口，用于在端口之間進行數(shù)據(jù)包轉(zhuǎn)發(fā)，從而實現(xiàn)子網(wǎng)內(nèi)的高效數(shù)據(jù)傳輸。 子網(wǎng)管理器（SM）在配置和維護本地子網(wǎng)方面發(fā)揮著關鍵作用，每個InfiniBand設備上都有子網(wǎng)管理器數(shù)據(jù)包（SMP）和子網(wǎng)管理器代理（SMA）提供支持。子網(wǎng)管理器（SM）發(fā)現(xiàn)和初始化網(wǎng)絡，為所有設備分配唯一標識符，確定最小傳輸單元（MTU），并根據(jù)選擇的路由算法生成交換機的路由表。它還定期掃描子網(wǎng)，檢測拓撲變化，并相應調(diào)整網(wǎng)絡配置。

基于信用的流量控制

與其他網(wǎng)絡通信協(xié)議相比，InfiniBand網(wǎng)絡提供更高的帶寬、更低的延遲和更大的可擴展性。此外，InfiniBand采用基于信用的流量控制，發(fā)送節(jié)點確保不會傳輸超過接收緩沖區(qū)中可用信用數(shù)量的數(shù)據(jù)到連接的另一端。這消除類似TCP窗口算法的數(shù)據(jù)包丟失機制的需求，使InfiniBand網(wǎng)絡能夠以較低延遲和CPU使用率實現(xiàn)較高數(shù)據(jù)傳輸速率。

遠程直接內(nèi)存訪問（RDMA）技術

InfiniBand利用遠程直接內(nèi)存訪問（RDMA）技術，實現(xiàn)應用程序之間在網(wǎng)絡上直接進行數(shù)據(jù)傳輸，無需涉及操作系統(tǒng)。這種零拷貝傳輸方法顯著減少了兩端CPU資源的消耗，使應用程序能夠直接從內(nèi)存中讀取消息。降低的CPU開銷提升了網(wǎng)絡快速傳輸數(shù)據(jù)的能力，并使應用程序更高效地接收數(shù)據(jù)。 總體而言，端到端InfiniBand網(wǎng)絡為大型模型訓練提供了顯著優(yōu)勢，包括高帶寬、低延遲、數(shù)據(jù)冗余和錯誤糾正機制。通過利用InfiniBand的能力，研究人員可以克服性能限制，增強系統(tǒng)管理，并加速大規(guī)模語言模型的訓練。