超級(jí)計(jì)算機(jī)的異構(gòu)分歧

電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）轉(zhuǎn)眼接近六月，離新一期TOP500超算排名公布的日子又不遠(yuǎn)了。這半年多時(shí)間里，業(yè)界在超算上的動(dòng)作可不小，新的處理器、新的加速器都在積極加入各大超算中心、國家實(shí)驗(yàn)室的大規(guī)模部署。國內(nèi)的百億億級(jí)超算系統(tǒng)目前還沒有提交成績，不過這已經(jīng)不重要了，這場誰先做到百億億級(jí)的競賽中國已經(jīng)取勝了，更不用說去年就通過新一代神威超算打破了量子霸權(quán)。

不過近期有一種觀點(diǎn)開始冒頭，那就是超算的規(guī)模已經(jīng)越來越大，結(jié)構(gòu)也越來越復(fù)雜，未來除了CPU和GPU之外，FPGA、AI加速器、量子加速器、神經(jīng)形態(tài)芯片和硅光芯片等設(shè)備是否會(huì)在超算上占據(jù)更大的份額呢？在這樣的異構(gòu)體系下，超算是否會(huì)像其他大型儀器，比如大型粒子對(duì)撞機(jī)、平方公里陣列射電望遠(yuǎn)鏡一樣，逐一替換部件呢？

開始異構(gòu)化的超算

盡管FPGA已經(jīng)經(jīng)歷了多年的應(yīng)用，但在HPC上亮相的次數(shù)可謂少之又少，這并非是缺乏嘗試，而是傳統(tǒng)FPGA硬件上存在限制，開發(fā)工具也相對(duì)特化，對(duì)于嘗試數(shù)據(jù)科學(xué)的開發(fā)者來說上手難度較高。

VersalHBM /Xilinx

然而近年來，在各大FPGA廠商的努力下，F(xiàn)PGA已經(jīng)有了長足的發(fā)展，其性能足以支撐起HPC應(yīng)用的運(yùn)行，F(xiàn)PGA編程也終于有了軟件開發(fā)而不是硬件設(shè)計(jì)的樣子。英國的ExCALIBUR項(xiàng)目就開始利用FPGA作為HPC應(yīng)用的測試平臺(tái)，所用硬件有Xilinx的Alveo、Versal，也有英特爾的Stratix-10。

神經(jīng)形態(tài)芯片也想要取代GPU的位置，美國桑迪亞國家實(shí)驗(yàn)室就利用了5000萬片英特爾的Loihi神經(jīng)形態(tài)芯片進(jìn)行了研究，證明了這類芯片不僅僅適用于解決AI上的挑戰(zhàn)，在分子模擬、生物學(xué)建模這些超算應(yīng)用也能做到極高的能效比。

即便如此，我們?cè)赥OP500上看到利用新硬件的情況還是很少，英特爾、AMD和英偉達(dá)還是占據(jù)了絕對(duì)的主導(dǎo)。

實(shí)際應(yīng)用與軟件移植的痛點(diǎn)

但說到頭來，TOP500所奉行的HPL測試標(biāo)準(zhǔn)并不是衡量超算性能的唯一標(biāo)準(zhǔn)，還有專注于帶寬的HPCG，以及更看重時(shí)延的Graph500。異構(gòu)超算可以借助不同硬件的特性，將這些痛點(diǎn)各個(gè)擊破。

富岳超級(jí)計(jì)算機(jī) / 日本理化學(xué)研究所

日本富岳超算的主要貢獻(xiàn)者之一，前不久剛獲得了日本政府所頒發(fā)紫綬褒章的松岡聰卻對(duì)超算上的異構(gòu)趨勢表示了一定的懷疑。他認(rèn)為未來的HPC系統(tǒng)不會(huì)由各種類型的設(shè)備組成，反倒是會(huì)更加慎重地選擇所用的處理器，從而兼顧計(jì)算、帶寬和時(shí)延的需求。

原因很簡單，那就是軟件生態(tài)。如今的HPC代碼運(yùn)行著世界上最復(fù)雜的應(yīng)用，比如氣象預(yù)測、大規(guī)模數(shù)字孿生等等。但這類應(yīng)用由于復(fù)雜程度之高，承擔(dān)不起因?yàn)楫?dāng)前的硬件架構(gòu)幾年內(nèi)過時(shí)而面臨著重新編程或淘汰的代價(jià)，這也就是為何CPU+GPU的配置在超算領(lǐng)域依舊是龍頭老大，因?yàn)檫@種架構(gòu)下的超算軟件生態(tài)已經(jīng)成熟，可以沿用下去。

就拿常見的超算編程語言Fortran為例，雖說這一語言在數(shù)學(xué)運(yùn)算上有著很大的優(yōu)勢，但由于維護(hù)和移植困難，不少開發(fā)者都轉(zhuǎn)向了C/C++，而GPU又多用C++，所以即便現(xiàn)在各種加速器頻出，率先使用他們的也只是數(shù)據(jù)中心或AI等場景，并非超算。

但松岡聰也表示，他并不是指這些設(shè)備無法運(yùn)行這些代碼，或者移植困難不代表沒有嘗試的價(jià)值，而是即便代碼可以運(yùn)行在這些設(shè)備上，也很難通過負(fù)載均衡來踐行古斯塔夫森定律，即處理器數(shù)量增加可以讓程序運(yùn)行時(shí)間減少，最好的解決思路還是CPU或CPU+GPU這種同構(gòu)的方案。

雖然其他硬件加入的異構(gòu)確實(shí)對(duì)不同的工作流各個(gè)攻破，但超算很多時(shí)候是建好就完事的計(jì)算系統(tǒng)，后續(xù)也許只能增加同樣的計(jì)算資源來提高硬件性能，設(shè)計(jì)者無法預(yù)先判斷未來要運(yùn)行的任務(wù)，因此追求這樣的靈活性還不如使用同構(gòu)這一通解。

在使用超算的研究者和科學(xué)家看來，他們?cè)谝慌_(tái)超算上力求取得最大性能就已經(jīng)付出了巨大的心力，要是超算內(nèi)真的囊括一堆不同架構(gòu)的設(shè)備，單是龐大的編程和移植工作量就足以讓他們喪失興趣。他們或許更愿意去優(yōu)化算法或理論，都不愿意因?yàn)榧軜?gòu)的變化而去花費(fèi)大量時(shí)間編程。

云化超算成為可行方案？

還有一種觀點(diǎn)也獲得了不少支持，那就是云化超算。云服務(wù)廠商在HPC上的努力也都有目共睹，去年超算大會(huì)上，國內(nèi)外大學(xué)之間的比賽也是在云服務(wù)上構(gòu)筑超算系統(tǒng)，TOP500上來自云服務(wù)廠商的超算也有幾臺(tái)，微軟的Azure就有5臺(tái)，最強(qiáng)的一臺(tái)Voyager-EUS2甚至排到了第十的高位。

雖然云端部署超算的成本同樣巨大，但對(duì)于一些實(shí)驗(yàn)室來說，云端的模塊化特性讓他們不用擔(dān)心自己用不到什么組件，花更少的時(shí)間來購置超級(jí)計(jì)算機(jī)，花更多的時(shí)間去使用它。比如英國政府就選擇在微軟的Azure上部署慧與的CrayEX超算，用其完成氣象預(yù)測工作。更方便的是，由于超算消耗電力巨大，基礎(chǔ)設(shè)施可以托管在北歐等清潔能源更多的地方。