轉載 | 高性能計算與AI網(wǎng)絡大融合，如何重塑網(wǎng)絡智能時代？

近年來，數(shù)據(jù)中心網(wǎng)絡技術一直在不斷發(fā)展，以滿足日益增長的數(shù)據(jù)處理需求。從最初的傳統(tǒng)結構，到軟件定義網(wǎng)絡（SDN），再到云原生網(wǎng)絡（CN-NFV），數(shù)據(jù)中心網(wǎng)絡技術已經(jīng)走過了一個漫長的發(fā)展歷程。AI時代，高性能計算需求正呈現(xiàn)爆發(fā)性增長態(tài)勢，數(shù)據(jù)中心網(wǎng)絡面臨更為復雜的挑戰(zhàn)，技術將會有哪些新的變化？是否有合適的解決之道？

華為數(shù)據(jù)通信產(chǎn)品線數(shù)據(jù)中心網(wǎng)絡領域副總裁 張白

2023年8月23日-25日，全國高性能計算學術年會(CCF HPC China 2023)在青島舉辦，CCF HPC China是高性能計算領域全球最具影響力的三大超算盛會之一，有著“中國超算風向標”的稱號。本次大會上，華為數(shù)據(jù)通信產(chǎn)品線數(shù)據(jù)中心網(wǎng)絡領域副總裁張白分享隨著AI時代的到來，高性能計算對網(wǎng)絡新的訴求，以及如何依靠星河AI網(wǎng)絡解決方案去解決智能時代網(wǎng)絡面臨的新的挑戰(zhàn)。

當前，新一輪科技革命和產(chǎn)業(yè)變革加速演進，高性能計算正帶領人類從“信息時代”走向“算力時代”。據(jù)中國電子信息產(chǎn)業(yè)發(fā)展研究院發(fā)布的《2022中國數(shù)字經(jīng)濟發(fā)展研究報告》顯示，目前中國算力規(guī)模約占全球的27%，排名第二。我國算力進入高速發(fā)展階段，到2025年總算力規(guī)模將達到300EFlops，同比2020年增長120%。

數(shù)據(jù)的爆炸性增長需要算力去解決，一方面需要更高效的算力結構，另一方面需要好的算力網(wǎng)絡。高性能計算主要關注如何利用大規(guī)模計算的資源來解決科學、工程和商業(yè)問題。HPC應用程序通常需要使用并行計算，億級、10億級的超算，它的并行計算帶給網(wǎng)絡非常大的挑戰(zhàn)。比如，并行通信、數(shù)據(jù)同步、大規(guī)模穩(wěn)定運行等。同時，隨著AI人工智能快速發(fā)展，HPC和AI結合的研究，HPC和AI應用程序通常需要處理大量的數(shù)據(jù)，并且在計算節(jié)點之間進行數(shù)據(jù)傳輸和存儲，對網(wǎng)絡的吞吐及負載均衡也提出了新的挑戰(zhàn)。

以當前火爆的大模型來說，其對數(shù)據(jù)中心網(wǎng)絡要求更為苛刻，可以說，大規(guī)模算力環(huán)境下的網(wǎng)絡問題已成為當今數(shù)據(jù)中心所面臨的“緊箍咒”之一。

官網(wǎng)顯示，ChatGPT-4輸入參數(shù)已經(jīng)達到萬億，2.5年增長了570倍，1.5萬張A100卡來支撐訓練，大量服務器通過高速網(wǎng)絡組成算力集群，共同完成訓練任務。但是大規(guī)模不等于大帶寬，AI大模型的訓練場景中會存在負載不均衡的情況，而且設備網(wǎng)絡規(guī)模越大，傳統(tǒng)負載方式?jīng)_突會越嚴重。類似于要想提高車輛運行速度，在拓寬道路的基礎上，還需要解決堵車的難題。大規(guī)模的網(wǎng)絡不僅讓業(yè)務調優(yōu)復雜，后期運維也是雪上加霜，無法采用傳統(tǒng)手段運維，據(jù)統(tǒng)計50%的迭代過程會被迫中斷，定位時長平均1天以上。由此可見，AI訓練對于網(wǎng)絡的訴求可以用三個詞來歸納：大規(guī)模，高吞吐，高可靠。

加大高性能計算供給，必須增加算力網(wǎng)絡可靠性。自2020年至今，大模型引領AI進入新的發(fā)展階段，但大模型訓練是個復雜的系統(tǒng)工程，網(wǎng)絡基礎設施正是長穩(wěn)訓練的關鍵之一。對于用戶來說，其需要投入大量的資金和人才戰(zhàn)略來施行其智能化戰(zhàn)略，要怎樣才能進行數(shù)據(jù)中心的創(chuàng)新，建立其符合未來需求的數(shù)據(jù)中心網(wǎng)絡呢?

針對當前業(yè)界火爆的AI大模型，華為在2023CCF全國高性能計算學術年會（CCF HPC China 2023）上帶來星河AI網(wǎng)絡解決方案，提供“運得多、運得快，運得穩(wěn)”的高運力數(shù)據(jù)中心網(wǎng)絡，為客戶提供大規(guī)模、高吞吐、高可靠的網(wǎng)絡建設。

AI場景下對網(wǎng)絡的第一要求是大規(guī)模，適配萬卡集群是網(wǎng)絡最基本的要求。華為采用業(yè)界最高密200/400GE交換機，匹配大模型訓練基本硬件算力訴求，支持超大帶寬組網(wǎng)，支持萬億參數(shù)量，規(guī)模可以達到IB的2-4倍。

網(wǎng)絡的另一個要求是高吞吐，面對大規(guī)模網(wǎng)絡采用算網(wǎng)一體化的方式部署，效率可以提升10倍以上。在AI場景中網(wǎng)絡時延不是關鍵指標，而網(wǎng)絡吞吐才是業(yè)務性能的關鍵因素，華為獨創(chuàng)AI智能加速器，提高網(wǎng)絡吞吐，訓練效率提升20%。

高可靠同樣是客戶對網(wǎng)絡的重要要求，華為采用智能化運維的方式來保證訓練實時可視分鐘級識別慢主機，保證訓練的過程不中斷。通過采用網(wǎng)絡的控制器，包括網(wǎng)絡以及計算強強聯(lián)手，實現(xiàn)“算網(wǎng)一體的融合”，最終實現(xiàn)算力網(wǎng)絡“運得多，運得快，運得穩(wěn)”的目標，從而實現(xiàn)算力100%釋放。

進入AI時代，數(shù)據(jù)中心的使命正在從聚焦業(yè)務快速發(fā)放向聚焦數(shù)據(jù)高效處理進行轉變，計算、存儲、網(wǎng)絡等這些IT基礎設施的核心組成部分，正在融入更多的AI元素。企業(yè)如果想要打造未來型數(shù)據(jù)中心，就必須尋找優(yōu)秀的技術合作伙伴，致力于提供一套更好的網(wǎng)絡基礎設施。華為星河AI網(wǎng)絡解決方案通過構建支持AI業(yè)務的網(wǎng)絡，實現(xiàn)從大型模型訓練到推理的全過程。目前，華為星河AI網(wǎng)絡解決方案已在成全球100+企業(yè)部署商用。

到2030年，全球聯(lián)接數(shù)預計將達到2000億，數(shù)據(jù)中心流量10年增長100倍，IPv6地址滲透率將達到90%，AI算力將增長500倍。當前及未來的數(shù)據(jù)中心將如何應對這些趨勢和發(fā)展要求?這就需要構建一個立體超寬、滿足確定性時延的智能原生AI網(wǎng)絡。在華為看來，AI網(wǎng)絡的所有技術手段，都需要以業(yè)務為本，核心指標就是減少模型的訓練時間。

首先，大模型需要規(guī)模算力，需要非常大的GPU集群。而把大規(guī)模的GPU集群連起來，需要大規(guī)模的網(wǎng)絡。對于數(shù)據(jù)中心網(wǎng)絡而言，大規(guī)模網(wǎng)絡本身不是問題，更重要的是要考量建網(wǎng)的成本。華為主張采用大容量的交換設備組網(wǎng)降低網(wǎng)絡的層次，由原來的三層合適組網(wǎng)變成兩層寬河組網(wǎng)，從而來降低組網(wǎng)的成本。

其次，大規(guī)模的集群只是把AI物理服務器物理上連接在一起，要發(fā)揮效果還需要釋放集群算力。網(wǎng)絡在提高集群的加速比上需要發(fā)揮更加關鍵的作用。

最后，AI訓練的本質是并行計算，有典型的木桶效應，水桶的盛水量是由幾塊木板中最短的一塊決定的。一個環(huán)節(jié)出問題，會拉慢整個系統(tǒng)甚至讓整個系統(tǒng)癱瘓。網(wǎng)絡需要盡可能多的保障服務器之間的連通性，對網(wǎng)絡的高可靠需求更高。未來網(wǎng)絡要提高集群的整體可用性，做到在99%的情況下都不會因為網(wǎng)絡導致訓練中斷。

在過去20年，網(wǎng)絡技術獲得了長足發(fā)展——2000年開始的ALL IP技術推動了互聯(lián)網(wǎng)的大規(guī)模應用，2010年開始的All Cloud技術驅動了企業(yè)IT基礎設施的大規(guī)模云化。而今天，AI浪潮正撲面而來，持續(xù)演進的AI對網(wǎng)絡的需求將會處于指數(shù)級增長的態(tài)勢，網(wǎng)絡也需要全面擁抱人工智能時代。在這個過程中，華為將繼續(xù)攜手伙伴開放合作與持續(xù)創(chuàng)新，在算力領域的發(fā)展和應用中作出更大的貢獻。