Jack Dongarra：高性能計(jì)算及其未來(lái)需求

當(dāng)前超級(jí)計(jì)算機(jī)主要通過(guò)LINPACK測(cè)試性能并形成TOP500排行榜，隨著人工智能等應(yīng)用的流行，新的基準(zhǔn)測(cè)試正顯得愈發(fā)重要。未來(lái)，數(shù)據(jù)移動(dòng)將成為越來(lái)越重要的因素。

超級(jí)計(jì)算機(jī)的主要特點(diǎn)

傳統(tǒng)的科學(xué)和工程通常是通過(guò)理論和實(shí)驗(yàn)完成的。一方面，我們通過(guò)觀察周圍的事物，使用紙和筆推導(dǎo)計(jì)算形成理論；另一方面，我們通過(guò)大量實(shí)驗(yàn)驗(yàn)證理論。當(dāng)然，實(shí)驗(yàn)有時(shí)會(huì)改進(jìn)甚至改變理論。然而，這兩種科研范式都有其局限性：要么太困難（例如建造大型風(fēng)洞），要么太昂貴（例如進(jìn)行引擎鳥擊實(shí)驗(yàn)），要么太緩慢（例如分析氣候變化、星系碰撞），要么太危險(xiǎn)（例如設(shè)計(jì)武器和藥物）。計(jì)算機(jī)為科學(xué)研究提供了第三種范式，即基于物理規(guī)律和數(shù)值計(jì)算的方法，利用模擬仿真研究這些困難的問(wèn)題。為此，我們需要運(yùn)算速度快的超級(jí)計(jì)算機(jī)來(lái)實(shí)現(xiàn)高精度和高保真的模擬仿真。

如今，超級(jí)計(jì)算機(jī)普遍是由商用而非專用零部件制造而成的。我們把多個(gè)處理器核心封裝在一起做成通用的CPU，這些CPU組成了超級(jí)計(jì)算機(jī)的節(jié)點(diǎn)。當(dāng)我們希望提高計(jì)算能力和計(jì)算速度時(shí)，可以把GPU放在CPU旁邊，利用GPU提高超級(jí)計(jì)算機(jī)的性能。多個(gè)這樣的節(jié)點(diǎn)裝在一個(gè)機(jī)柜里，然后在大房間（目前最快的超級(jí)計(jì)算機(jī)占地約為2個(gè)網(wǎng)球場(chǎng)大）里裝滿這樣的機(jī)柜，再通過(guò)網(wǎng)絡(luò)把這些節(jié)點(diǎn)連起來(lái)，就組成了一臺(tái)超級(jí)計(jì)算機(jī)。

當(dāng)今的超級(jí)計(jì)算機(jī)主要具備以下四個(gè)特點(diǎn)：

1.高度并行化。超級(jí)計(jì)算機(jī)是高度并行化的系統(tǒng)，內(nèi)存也是分布式的。在這樣的系統(tǒng)上，我們通?；谙鬟f接口(Message Passing Interface，MPI)和OpenMP的編程模型做開發(fā)。

2.異構(gòu)性。超算排行榜上速度最快的計(jì)算機(jī)的算力由CPU和GPU共同提供，這就是我們所說(shuō)的異構(gòu)性。3.數(shù)據(jù)傳輸代價(jià)高。在超級(jí)計(jì)算機(jī)上，與數(shù)值計(jì)算相比，數(shù)據(jù)在各處傳輸?shù)拇鷥r(jià)十分高昂。4.多樣的浮點(diǎn)數(shù)支持。主流的計(jì)算機(jī)大都支持64位（雙精度）、32位（單精度）和16位（半精度）浮點(diǎn)運(yùn)算，目前一些計(jì)算機(jī)也支持8位浮點(diǎn)數(shù)。這些支持較低精度浮點(diǎn)數(shù)的計(jì)算機(jī)主要用于機(jī)器學(xué)習(xí)。 當(dāng)我們?cè)u(píng)價(jià)世界上最快的超級(jí)計(jì)算機(jī)時(shí)，會(huì)使用ExaFLOP來(lái)衡量。ExaFLOP是什么呢？一個(gè)FLOP指的是完成一次浮點(diǎn)數(shù)（通常為64位）加法或乘法運(yùn)算，因此一個(gè)ExaFLOP，或者簡(jiǎn)稱為EFLOP，就是指完成一百億億（1018）次浮點(diǎn)數(shù)運(yùn)算。假設(shè)我們讓地球上所有人每秒鐘做一次計(jì)算，那么完成一個(gè)ExaFLOP需要4年時(shí)間，而如果讓目前最好的超級(jí)計(jì)算機(jī)做，只需要一秒鐘，我們把這樣的計(jì)算機(jī)叫做E級(jí)計(jì)算機(jī)。

LINPACK與TOP500

LINPACK是我在1979年開始做的項(xiàng)目，用于求解線性方程組。圖1是當(dāng)時(shí)項(xiàng)目組的合影，從右到左分別是吉姆邦奇（Jim Bunch）、彼得斯圖爾特（Pete Stewart）、克里夫莫勒爾（Cleve Moler）和我，中間是我的汽車，車牌正好也是LINPACK。這個(gè)項(xiàng)目是我在新墨西哥大學(xué)發(fā)起的，當(dāng)時(shí)我還是一名研究生。LINPACK用戶手冊(cè)（見(jiàn)圖2）的附錄中列出了24臺(tái)機(jī)器求解規(guī)模為100的線性方程組的性能排行榜（見(jiàn)圖3）。排行榜中最快的計(jì)算機(jī)是美國(guó)國(guó)家大氣研究中心(National Center for Atmospheric Research)的克雷1號(hào)(Cray-1)，當(dāng)時(shí)它的運(yùn)算速度是14 MFLOPS（1400萬(wàn)次浮點(diǎn)運(yùn)算/秒）。

TOP500項(xiàng)目始于1993年，由我、漢斯梅烏爾（Hans Meuer）、埃里希斯特羅邁爾（Erich Strohmaier）和霍斯特西蒙（Horst Simon）等人共同發(fā)起。TOP500排行榜每年發(fā)布兩次，其中一次是6月在德國(guó)的國(guó)際超算大會(huì)（ISC）上發(fā)布，另一次是11月在美國(guó)的超算大會(huì)（SC）上發(fā)布。在TOP500的評(píng)測(cè)中，我們測(cè)量求解線性方程組Ax=b的時(shí)間，然后把它換算為運(yùn)行速度。當(dāng)增大線性方程組的規(guī)模時(shí)，運(yùn)算速度會(huì)上升，直到達(dá)到穩(wěn)定點(diǎn)（asymptotic point）。這一穩(wěn)定的速率被作為TOP500評(píng)測(cè)的結(jié)果。 圖4是超級(jí)計(jì)算機(jī)的性能隨時(shí)間變化的曲線：紅線表示運(yùn)算速度最快（即第一名）的計(jì)算機(jī)的性能，橙線表示剛進(jìn)入名單（即第500名）的計(jì)算機(jī)的性能，藍(lán)線是TOP500榜單中算力的總和。1993年的冠軍是美國(guó)洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室（Los Alamos National Lab，LANL）的CM5計(jì)算機(jī)，它有1024個(gè)處理器，峰值性能為59.7 GFLOPS（597億次浮點(diǎn)運(yùn)算/秒），主要用于設(shè)計(jì)核武器。這種算力在今天是不值一提的。以我作報(bào)告使用的Apple M2芯片為例，它的算力約為426 GFLOPS，比1993年的冠軍高了一個(gè)數(shù)量級(jí)，而我卻只用它收發(fā)電子郵件。實(shí)際上，這個(gè)芯片的性能與1997年的冠軍——位于日本筑波大學(xué)的日立CP-PAC的性能相當(dāng)，而這臺(tái)機(jī)器竟然有2048個(gè)處理器。

表1列出了最近剛發(fā)布的TOP500中排名前十的機(jī)器。美國(guó)有5臺(tái)超級(jí)計(jì)算機(jī)位居前十，其中4臺(tái)部署在美國(guó)能源部下屬的實(shí)驗(yàn)室，另一臺(tái)在英偉達(dá)公司。日本、芬蘭、意大利各有一臺(tái)，中國(guó)有兩臺(tái)。

排行榜的第一名是位于美國(guó)橡樹嶺國(guó)家實(shí)驗(yàn)室(Oak Ridge National Lab，ORNL)的超級(jí)計(jì)算機(jī)Frontier。它是由系統(tǒng)集成商HPE使用超威（AMD）的CPU和GPU制造的，由9408個(gè)節(jié)點(diǎn)，共計(jì)約800萬(wàn)個(gè)核心組成。這臺(tái)機(jī)器的算力測(cè)試結(jié)果為1.1 EFLOPS，達(dá)到了理論峰值性能的65%，功耗高達(dá)21兆瓦，以美國(guó)的電價(jià)計(jì)算，這臺(tái)計(jì)算機(jī)一年的電費(fèi)約為2100萬(wàn)美元。這臺(tái)機(jī)器非常高效，每瓦的能耗可以提供52.2 GFLOPS的算力。 中國(guó)上榜的兩臺(tái)機(jī)器中，位于無(wú)錫的“神威太湖之光”非常引人注目，它使用了中國(guó)自己生產(chǎn)的申威處理器。另一臺(tái)是由國(guó)防科技大學(xué)研制的“天河二號(hào)A”，它使用英特爾處理器，并配備了國(guó)防科技大學(xué)自研的加速器。 最新的TOP500排行榜中，中國(guó)擁有162臺(tái) 超級(jí)計(jì)算機(jī)，數(shù)量位居第一；美國(guó)有125臺(tái)，排名第二；然后是德國(guó)（34臺(tái)）、日本（32臺(tái)）和法國(guó)（24臺(tái)）等。中國(guó)不僅擁有數(shù)量最多的超級(jí)計(jì)算機(jī)，還擁有數(shù)量最多的超級(jí)計(jì)算機(jī)研發(fā)機(jī)構(gòu)，包括聯(lián)想、中科曙光、浪潮、華為和國(guó)防科技大學(xué)等。據(jù)悉，中國(guó)目前有兩臺(tái)E級(jí)計(jì)算機(jī)，速度比目前排名第一的Frontier還快。其中一臺(tái)是位于青島的新一代神威超級(jí)計(jì)算機(jī)，基于這臺(tái)計(jì)算機(jī)的研究成果獲得了2021年的“戈登貝爾”獎(jiǎng)（高性能計(jì)算領(lǐng)域的最高獎(jiǎng)項(xiàng)）；另一臺(tái)是位于天津的天河三號(hào)。目前，這兩臺(tái)超級(jí)計(jì)算機(jī)尚未提交LINPACK的測(cè)試結(jié)果，因此還未列入TOP500排行榜。 回顧超級(jí)計(jì)算機(jī)的發(fā)展（見(jiàn)圖5），我們發(fā)現(xiàn)1997年時(shí)算力達(dá)到了T級(jí)，即每秒1012次浮點(diǎn)數(shù)操作。11年后的2008年，算力提高了3個(gè)數(shù)量級(jí)，達(dá)到了P級(jí)，即每秒1015次浮點(diǎn)數(shù)操作。又過(guò)了14年，到今年（2022年），算力再次提高了3個(gè)數(shù)量級(jí)，達(dá)到了E級(jí)。那么什么時(shí)候能達(dá)到Z級(jí)（ZettaFLOPS，每秒1021次浮點(diǎn)數(shù)操作）呢？我認(rèn)為時(shí)間要比14年長(zhǎng)得多。

新的計(jì)算模式與基準(zhǔn)測(cè)試

我們?cè)O(shè)計(jì)LINPACK的時(shí)候，通過(guò)矩陣乘法評(píng)價(jià)浮點(diǎn)數(shù)的計(jì)算性能。這在過(guò)去是個(gè)很重要的指標(biāo)，但現(xiàn)在不是了。今天，我們需要用新的基準(zhǔn)測(cè)試來(lái)關(guān)注數(shù)據(jù)傳輸?shù)男阅?。有一個(gè)比較新的基準(zhǔn)測(cè)試叫作HPCG(High Performance Conjugate Gradients)，它使用共軛梯度算法解決稀疏矩陣上的問(wèn)題，這個(gè)問(wèn)題在當(dāng)前各類應(yīng)用中普遍出現(xiàn)。表2是基于新基準(zhǔn)HPCG的計(jì)算機(jī)排名，表中列出的HPL(High Performance LINPACK)是舊基準(zhǔn)下的算力數(shù)值，HPCG是新基準(zhǔn)下的算力數(shù)值。如果我們只比較這些數(shù)字，會(huì)發(fā)現(xiàn)舊基準(zhǔn)給出了比新基準(zhǔn)更高的算力結(jié)果，但實(shí)際上新基準(zhǔn)更能反映在這些機(jī)器上運(yùn)行應(yīng)用程序的實(shí)際性能。 表2中的占理論峰值性能的百分比表示HPCG基準(zhǔn)下，測(cè)試所得算力與理論峰值算力的比值。其中排名第一的日本超級(jí)計(jì)算機(jī)富岳（Fugaku）達(dá)到了理論峰值算力的3%，而TOP500中排名第一的Frontier僅達(dá)到了理論峰值的0.8%。算力與理論峰值存在差異的主要原因是通信的帶寬和延遲。圖6展示了TOP500排行榜上機(jī)器的算力情況，其中黑色圓點(diǎn)表示根據(jù)硬件配置計(jì)算得到的理論峰值算力；綠色圓點(diǎn)表示LINPACK基準(zhǔn)測(cè)試得到的峰值算力，非常接近理論峰值；藍(lán)色圓點(diǎn)表示HPCG測(cè)試結(jié)果，相比之下低得多，但它更能反映大多數(shù)應(yīng)用的實(shí)際效果。

近年來(lái)，人工智能和機(jī)器學(xué)習(xí)十分火熱。它們已經(jīng)存在很長(zhǎng)時(shí)間了，為什么現(xiàn)在才火起來(lái)呢？原因之一是，近年來(lái)互聯(lián)網(wǎng)產(chǎn)生了大量數(shù)據(jù)，可以用于訓(xùn)練和構(gòu)建機(jī)器學(xué)習(xí)算法。原因之二是，計(jì)算能力的不斷發(fā)展（主要是GPU的出現(xiàn)）提高了機(jī)器學(xué)習(xí)的可行性。此外，近年來(lái)我們也更深入地理解了算法和理論背后的原理。這些因素都讓我們更有效地利用計(jì)算機(jī)實(shí)現(xiàn)人工智能。今天的人工智能涵蓋很多方面，包括機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、專家系統(tǒng)、計(jì)算機(jī)視覺(jué)、語(yǔ)音、機(jī)器人等。不僅如此，人工智能在科學(xué)發(fā)現(xiàn)方面也起到了很重要的作用，提高了我們解決問(wèn)題的能力，包括氣候、生物、制藥、材料、高能物理在內(nèi)的各個(gè)領(lǐng)域都在使用人工智能。 盡管線性代數(shù)在機(jī)器學(xué)習(xí)中仍然十分重要，但對(duì)于精度的要求卻不高。很多時(shí)候16位浮點(diǎn)數(shù)足以滿足要求，因此很多公司都在設(shè)計(jì)新硬件和新架構(gòu)來(lái)滿足這樣的場(chǎng)景。今天的超級(jí)計(jì)算機(jī)大多基于CPU和GPU構(gòu)建，也許在未來(lái)，我們會(huì)使用更多的其他加速器，例如神經(jīng)形態(tài)計(jì)算(neuromorphic computing)，甚至是光學(xué)計(jì)算(optical computing)加速器。在未來(lái)，用戶或許可以像接入互聯(lián)網(wǎng)那樣輕松地使用超算服務(wù)。 展望未來(lái)，數(shù)據(jù)的移動(dòng)將會(huì)是計(jì)算機(jī)體系架構(gòu)發(fā)展中重要的考量因素，我希望未來(lái)的計(jì)算機(jī)可以在數(shù)據(jù)移動(dòng)性能和浮點(diǎn)數(shù)計(jì)算性能之間取得更好的平衡。雖然在短期內(nèi)，我們不會(huì)看到量子計(jì)算機(jī)取代現(xiàn)有的計(jì)算機(jī)，它不能解偏微分方程，也不能解決我們今天使用超級(jí)計(jì)算機(jī)時(shí)遇到的各種問(wèn)題，但量子計(jì)算(quantum computing)有望發(fā)揮加速器的作用，與現(xiàn)有的計(jì)算模式協(xié)作解決某些問(wèn)題。此外，今天的超級(jí)計(jì)算機(jī)仍然被英特爾和超微的處理器主導(dǎo)，TOP500中僅有5臺(tái)計(jì)算機(jī)使用ARM處理器，還沒(méi)有任何機(jī)器使用RISC-V處理器。RISC-V目前對(duì)高性能計(jì)算的影響很小，未來(lái)或許會(huì)有所改變。

結(jié)論

從標(biāo)量到向量，到分布式內(nèi)存，到加速器，再到混合精度，高性能計(jì)算的變遷從未停止過(guò)。我認(rèn)為這里有三場(chǎng)計(jì)算的變革。第一個(gè)是高性能計(jì)算，利用高性能計(jì)算推動(dòng)科學(xué)的新發(fā)現(xiàn)是當(dāng)今科學(xué)研究的重要組成部分，擁有最好的超級(jí)計(jì)算機(jī)就能做最好的科學(xué)研究；第二個(gè)是深度學(xué)習(xí)，它對(duì)提高我們利用超級(jí)計(jì)算機(jī)解決問(wèn)題的能力至關(guān)重要；第三個(gè)是邊緣計(jì)算與人工智能。我認(rèn)為，算法和軟件通常會(huì)隨著硬件的進(jìn)步而發(fā)展，硬件發(fā)展在先，軟件發(fā)展在后。幾年前，《科學(xué)》雜志上發(fā)表了一篇非常有趣的論文，是查爾斯雷瑟爾森(Charles Leiserson)等人所寫的《我們?nèi)杂邢蛏系目臻g：摩爾定律之后什么將推動(dòng)計(jì)算機(jī)性能》(There’s plenty of room at the Top: What will drive computer performance after Moore's law?)。這篇文章討論的正是這個(gè)問(wèn)題：我們需要設(shè)計(jì)更好的軟件、更好的算法來(lái)匹配已有的硬件，以更有效地利用硬件。我想，這或許可以與理查德費(fèi)曼(Richard Feynman)1959年在加州理工學(xué)院作的經(jīng)典演講相呼應(yīng)，費(fèi)曼講的是在物理世界的底層還有很多研究空間，例如量子效應(yīng)、量子計(jì)算，以及我們?nèi)绾卫盟鼈儭?

審核編輯 ：李倩