采用OpenACC框架的FVCOM模型實(shí)現(xiàn)超百倍計(jì)算加速

華東師范大學(xué)河口海岸學(xué)國家重點(diǎn)實(shí)驗(yàn)室葛建忠教授團(tuán)隊(duì)作為國際先進(jìn)海洋數(shù)值模型 FVCOM 開發(fā)團(tuán)隊(duì)核心成員，隨著 FVCOM 的發(fā)展和應(yīng)用越來越廣泛，以及行業(yè)不斷提升的對預(yù)報(bào)精度與時(shí)效性要求，算力需求劇增，借助 NVIDIA GPU 加速計(jì)算技術(shù)，不僅實(shí)現(xiàn)了傳統(tǒng)動(dòng)力學(xué)數(shù)值模型的百倍計(jì)算加速，造福了海洋預(yù)報(bào)、水利工程等具體應(yīng)用領(lǐng)域，也為海洋模型系統(tǒng)向人工智能模型轉(zhuǎn)型以及人工智能海洋學(xué)的發(fā)展提供了關(guān)鍵的基礎(chǔ)數(shù)據(jù)生成工具和方法，是人工智能技術(shù)進(jìn)一步應(yīng)用于海洋領(lǐng)域的重要基石。

海洋預(yù)報(bào)數(shù)值模型計(jì)算負(fù)載劇增

隨著自然災(zāi)害越來越頻發(fā)，為災(zāi)害過程防御提供技術(shù)支撐的數(shù)值預(yù)報(bào)系統(tǒng)對“精確、及時(shí)、高效、穩(wěn)定”有著越來越高的需求，特別是隨著集合預(yù)報(bào)模型的研發(fā)和應(yīng)用帶來了數(shù)值模型計(jì)算量的急劇上升（比如在集合預(yù)報(bào)中計(jì)算量與集合樣本數(shù)量成正比，是單個(gè)模型計(jì)算的數(shù)十倍），超大的計(jì)算負(fù)載給預(yù)報(bào)業(yè)務(wù)單位和超算中心帶來了極大的壓力，而預(yù)報(bào)系統(tǒng)又具有“高時(shí)效”的特點(diǎn)，要盡可能地控制計(jì)算量，從而提高預(yù)報(bào)時(shí)效。與此同時(shí)，河口生態(tài)、生物地球化學(xué)過程模型具有變量多、過程復(fù)雜的特點(diǎn)，其計(jì)算量一般是動(dòng)力模型的 10 倍以上。潮灘濕地植被斑塊及潮溝系統(tǒng)、近海工程、海上風(fēng)電場等模型一般都要求小于 5 米的空間分辨率，這也造成了模型計(jì)算量顯著增大。

面對計(jì)算量劇增的挑戰(zhàn)，實(shí)驗(yàn)室目前的計(jì)算架構(gòu)主要采取基于 CPU 的多核計(jì)算節(jié)點(diǎn)擴(kuò)展方案為主，以增加核數(shù)、節(jié)點(diǎn)來應(yīng)對，這對高性能集群的建設(shè)和運(yùn)維提出了更高的要求，也進(jìn)一步提高了數(shù)值模型應(yīng)用和拓展的門檻。

采用 OpenACC 框架加速 FVCOM 模型

為了解決數(shù)值模型計(jì)算負(fù)載劇增這一難點(diǎn)問題，華東師范大學(xué)河口海岸學(xué)國家重點(diǎn)實(shí)驗(yàn)室葛建忠教授團(tuán)隊(duì)調(diào)研分析了目前的主要 GPU 加速計(jì)算技術(shù)，包括 CUDA、OpenACC、stdpar、Kokkos、OpenCL 等，并與 NVIDIA 技術(shù)團(tuán)隊(duì)進(jìn)行了詳細(xì)討論和分析，結(jié)合 FVCOM 模型代碼的復(fù)雜度，選擇了 OpenACC 為主的技術(shù)路線，并于 2023 年初開始相關(guān)代碼遷移工作，并在 2023 年 8 月參加了 NVIDIA 舉辦的武漢大學(xué) GPU Hackthon 活動(dòng)，得到了專業(yè)的技術(shù)支持，解決了多個(gè)關(guān)鍵技術(shù)難點(diǎn)，于 2023 年底完成了主要代碼的遷移、測試和驗(yàn)證工作。

為降低大規(guī)模數(shù)值模型的使用門檻，模型代碼的遷移和測試都在一臺(tái)搭載 NVIDIA GeForce RTX 40 系列 GPU 的臺(tái)式電腦上完成，并在 2023 年初完成部署的超算中心計(jì)算節(jié)點(diǎn)上采用 CPU 進(jìn)行對比，該計(jì)算節(jié)點(diǎn)為 Intel Xeon Gold CPU，遷移后的模型支持正壓、斜壓、泥沙、植被等關(guān)鍵模型，并支持全部外部驅(qū)動(dòng)包括風(fēng)場、熱通量、降雨、離線流場、嵌套文件的高效傳輸，也可進(jìn)行單精度、雙精度計(jì)算的自由切換。遷移后模型相關(guān)的輸入、輸出和控制文件未發(fā)生任何變化，可以適用于原有 FVCOM 的相關(guān)應(yīng)用。

加速對比測試選擇 10 萬、35 萬、100 萬、150 萬、200 萬水平方向網(wǎng)格等模型，所有模型都在 RTX GPU 上進(jìn)行單精度模式計(jì)算，并采用計(jì)算節(jié)點(diǎn)進(jìn)行單線程運(yùn)行相同模型。相對于 CPU 單線程計(jì)算速度，采用 OpenACC 技術(shù)的 FVCOM 模型分別達(dá)到了 88、181、194、195、198 倍的加速比（圖 1）。在此基礎(chǔ)上采用編譯器控制選項(xiàng)可以在同一套代碼上靈活切換 CPU 或者 GPU 模式，且經(jīng)檢驗(yàn)，CPU 和 GPU 加速模型都得到一致的模擬結(jié)果。在單精度 FVCOM 的前提下，一個(gè) RTX GPU 的計(jì)算能力在不考慮網(wǎng)絡(luò)交換的情況下相當(dāng)于超算集群的 3.5 個(gè) 64 核計(jì)算節(jié)點(diǎn)，在考慮節(jié)點(diǎn)間網(wǎng)絡(luò)交換延遲時(shí)可相當(dāng)于 5 個(gè)節(jié)點(diǎn)。

圖 1：單精度 GPU-FVCOM 加速實(shí)驗(yàn)結(jié)果

該模型可在 NVIDIA 加速計(jì)算框架體系內(nèi)高效擴(kuò)展，將 10 萬、35 萬、100 萬、150 萬網(wǎng)格模型再調(diào)整為雙精度模式，采用單個(gè) NVIDIA Ampere Tensor Core GPU 進(jìn)行加速計(jì)算，分別達(dá)到了 48、77、139 和 135 的加速比，顯示了對雙精度模式也有良好的加速效果。在多個(gè) GPU 計(jì)算節(jié)點(diǎn)的情況下，也可采用 MPI+OpenACC 方式支持多 GPU 并行計(jì)算。

圖 2：雙精度 GPU-FVCOM 加速實(shí)驗(yàn)結(jié)果

超百倍計(jì)算加速造福海洋預(yù)報(bào)

目前，F(xiàn)VCOM 模型在海洋預(yù)報(bào)、海洋工程與作業(yè)等領(lǐng)域應(yīng)用極為廣泛。以國內(nèi)外近海海洋預(yù)報(bào)業(yè)務(wù)為例，F(xiàn)VCOM 已經(jīng)成為我國沿海省、市、區(qū)各級(jí)海洋預(yù)警預(yù)報(bào)部門開展業(yè)務(wù)化預(yù)報(bào)工作的主要模型選擇。海洋預(yù)報(bào)業(yè)務(wù)的發(fā)展趨勢是不斷提升對預(yù)報(bào)精度與時(shí)效的要求，二者都意味著巨大的算力需求，而將 FVCOM 模型實(shí)現(xiàn) GPU 加速是解決實(shí)際應(yīng)用中劇增的算力需求的有效途徑。

采用 GPU 加速的預(yù)報(bào)模型可以將預(yù)報(bào)時(shí)效從小時(shí)級(jí)別降低到分鐘級(jí)，甚至秒級(jí)。顯著的效率提升也釋放了模型進(jìn)一步采用更高網(wǎng)格分辨率從而提高模擬精度的潛力。

另一方面，業(yè)務(wù)部門對于臺(tái)風(fēng)風(fēng)暴潮等事件的集合預(yù)報(bào)愈發(fā)重視。集合預(yù)報(bào)是指針對不同的初始條件或驅(qū)動(dòng)要素（例如臺(tái)風(fēng)演化過程）的擾動(dòng)，計(jì)算出多個(gè)可能的未來情形，以考慮預(yù)報(bào)中的不確定性。這就對模型的計(jì)算速度提出了更大的挑戰(zhàn)，而 GPU 加速能夠很好地加以應(yīng)對。

在水利工程領(lǐng)域，F(xiàn)VCOM 模型也已廣泛用于工程可行性分析與評估。尤其是在工程前期研究階段，需要借助數(shù)值模型對多種施工建設(shè)方案的效果進(jìn)行模擬評估，多工況計(jì)算對傳統(tǒng)模型也造成了極大挑戰(zhàn)。實(shí)現(xiàn) GPU 加速從而更快地給出論證結(jié)果，則可以切實(shí)地提高工程推進(jìn)效率，節(jié)省工期。

此外，本項(xiàng)目所實(shí)現(xiàn)的案例具有較高的啟示意義與推廣價(jià)值，例如 OpenACC 技術(shù)方案還可以應(yīng)用在其他近海和海洋數(shù)值模型系統(tǒng)。在采用結(jié)構(gòu)化網(wǎng)格的模型中（如ROMS、ECOM、POM 等），該方案甚至可能實(shí)現(xiàn)更好的加速效果。本次實(shí)踐也證明，GPU 加速能夠極大地降低河口、海岸、海洋研究和工程應(yīng)用領(lǐng)域進(jìn)行數(shù)值模擬所需的硬件門檻，為學(xué)科發(fā)展、業(yè)務(wù)應(yīng)用都提供了巨大幫助。

目前，海洋數(shù)值模型正經(jīng)歷其發(fā)展歷程中的最大轉(zhuǎn)型，即從基于動(dòng)力學(xué)機(jī)制與方程的傳統(tǒng)海洋數(shù)值模型轉(zhuǎn)型為基于機(jī)器學(xué)習(xí)（深度學(xué)習(xí)）等方法的人工智能模型。而人工智能模型對數(shù)據(jù)的需求與依賴巨大，其訓(xùn)練通常離不開海量的、可靠的數(shù)據(jù)。然而，海洋系統(tǒng)中的實(shí)測數(shù)據(jù)，相較于海洋巨大的空間尺度以及所關(guān)切問題的具體時(shí)間范圍，總是稀缺的。數(shù)值模型則可以為人工智能模型提供大量的基礎(chǔ)訓(xùn)練數(shù)據(jù)，也是當(dāng)下保障數(shù)據(jù)范圍與質(zhì)量最有效的途徑之一。例如，葛建忠教授團(tuán)隊(duì)已經(jīng)用實(shí)現(xiàn) GPU 加速的 FVCOM 模型系統(tǒng)計(jì)算了中國近海 1960 – 2023 年海洋流場和生態(tài)動(dòng)力過程，用該三維高分辨率模型生成了超 20TB 容量的同化數(shù)據(jù)產(chǎn)品。隨后，通過利用 NVIDIA 開發(fā)的基于 AFNO 架構(gòu)的 FourCastNet 模型對該數(shù)據(jù)集開展訓(xùn)練，他們實(shí)現(xiàn)了對河口及近海動(dòng)力學(xué)過程的快速推演與分析。此外，他們還采用實(shí)現(xiàn) GPU 加速的 FVCOM 模型高效快速地計(jì)算了超過 1000 個(gè)臺(tái)風(fēng)風(fēng)暴潮過程樣本，用于訓(xùn)練一個(gè)基于深度學(xué)習(xí)方法的風(fēng)暴潮預(yù)報(bào)模型。這兩個(gè)數(shù)據(jù)集的構(gòu)建，若采用傳統(tǒng)的、未經(jīng)加速的數(shù)值模型，所耗費(fèi)的時(shí)間成本將高出百倍以上。

綜上，采用 OpenACC 框架的 FVCOM 為傳統(tǒng)動(dòng)力學(xué)數(shù)值模型提供了超過百倍的計(jì)算加速。這樣的效率提升不僅直接造福了海洋預(yù)報(bào)、水利工程等具體應(yīng)用領(lǐng)域，也為海洋模型系統(tǒng)向人工智能模型轉(zhuǎn)型以及人工智能海洋學(xué)的發(fā)展提供了關(guān)鍵的基礎(chǔ)數(shù)據(jù)生成工具和方法，是人工智能技術(shù)進(jìn)一步應(yīng)用于海洋領(lǐng)域的重要基石。

團(tuán)隊(duì)介紹

華東師范大學(xué)河口海岸學(xué)國家重點(diǎn)實(shí)驗(yàn)室葛建忠教授團(tuán)隊(duì)長期致力于海洋數(shù)值模型的研發(fā)與應(yīng)用，是國際先進(jìn)海洋數(shù)值模型 FVCOM 開發(fā)團(tuán)隊(duì)核心成員，主持開發(fā)了其中導(dǎo)堤-丁壩、細(xì)顆粒粘性泥沙、浮泥、河流閘門、植被、藻類漂移生長等 FVCOM 核心模塊，并參與開發(fā)了波流共同作用、FVCOM-ERSEM 生物地球化學(xué)等模塊。此外，該團(tuán)隊(duì)也建立了中國海-長江口多空間尺度物理-生物地球化學(xué)耦合數(shù)值模擬系統(tǒng)。

葛建忠教授團(tuán)隊(duì)基于 FVCOM 框架，主要聚焦高濃度泥沙、物理-生物地球化學(xué)耦合過程、臺(tái)風(fēng)風(fēng)暴潮等方面的研究，并針對長江河口、黃海、浙閩沿海、珠江口和北部灣等國內(nèi)典型河口海岸區(qū)域進(jìn)行了應(yīng)用研究。在德國的易北河口、漢堡港、越南的峴港等區(qū)域，該團(tuán)隊(duì)也開展了相關(guān)合作和應(yīng)用研究，其相關(guān)成果也為國家海洋與水利等部門的黃海滸苔防治、風(fēng)暴潮預(yù)報(bào)、咸潮入侵防御等方面提供了多項(xiàng)技術(shù)支撐。

審核編輯：劉清