如何擴(kuò)大HPC資源的使用？

隨著數(shù)據(jù)密集型問題的增長，學(xué)術(shù)研究人員對訪問諸如高性能計算（HPC）等強(qiáng)大算力系統(tǒng)的需求也在增多，然而，當(dāng)前HPC資源的供應(yīng)尚不能滿足日益增長的需求。HPC有益于不同科學(xué)和工程領(lǐng)域的研究人員應(yīng)對重要科研挑戰(zhàn)，推動了尖端人工智能（AI）應(yīng)用的發(fā)展。但是，有限的HPC資源及其不充分利用，阻礙了研究人員開發(fā)新產(chǎn)品和服務(wù)的能力。我國在超級計算機(jī)方面發(fā)展迅速，達(dá)到國際先進(jìn)水平，但同樣需要增益超算資源的利用，以支持更多的科研和創(chuàng)新活動。2020年12月7日，美國智庫信息技術(shù)與創(chuàng)新基金會（ITIF）數(shù)據(jù)創(chuàng)新中心發(fā)布《如何增加超算資源的訪問》報告，就如何擴(kuò)大AI研究人員對HPC資源的使用提出具體建議。

01

美國國會應(yīng)在未來五年內(nèi)向美國國家科學(xué)基金會（NSF）和美國能源部（DOE）提供100億美元，以滿足HPC資源的供需平衡。

在HPC基礎(chǔ)設(shè)施方面，美國NSF從國會獲得的資助額度從2010年到2019年下降了約一半，即從3.52億美元下降到1.67億美元。2019年的資助金額尚不足以支撐1/3的美國NSF HPC資源訪問需求，如圖1所示。為滿足快速增長的HPC資源訪問需求，在未來五年內(nèi)，美國國會應(yīng)將其對美國NSF HPC基礎(chǔ)設(shè)施的資助額度提高到至少5億美元/年。

美國DOE從美國國會獲得的資助額度從2010年到2019年增加了約90%，即從2010年2.76億美元增加到2019年5.23億美元。但是，2019年，美國DOE HPC資源訪問需求仍是供應(yīng)的3倍。因此，美國國會應(yīng)授權(quán)美國DOE將其對HPC基礎(chǔ)設(shè)施的資助額度提高到至少15億美元/年。

圖1 2019年美國NSF XSEDE所需和可用服務(wù)單元對比

02

美國NSF應(yīng)該支持代表大多數(shù)研究人員的潛在HPC長尾用戶。

美國許多州擁有從事AI研究的頂級研究機(jī)構(gòu)，但缺乏本地HPC資源的獲取途徑來進(jìn)行AI研究。美國NSF應(yīng)加大資助這些州的“中程HPC系統(tǒng)”和“中心HPC系統(tǒng)”。此外還應(yīng)關(guān)注AI研究和HPC資源都相對貧乏的區(qū)域或機(jī)構(gòu)，合理分配資助經(jīng)費(fèi)。

圖2 HPC計算系統(tǒng)的四個類別

03

美國DOE和NSF應(yīng)該更有效地分配HPC計算時間。

為了更精確的為研究人員分配HPC資源，DOE和NSF首先要了解用戶的計算需求。目前提議的一些流程主要集中于給定項目所需的HPC系統(tǒng)計算峰值方面。但除此之外，美國DOE和NSF還需進(jìn)一步了解用戶所需其它HPC能力，包括互連帶寬、數(shù)據(jù)長期存儲等。

04

美國DOE和NSF應(yīng)為研究者提供HPC方面的專家，以提高科研生產(chǎn)力。

HPC系統(tǒng)的使用需要專業(yè)技術(shù)人才，美國DOE和NSF應(yīng)該探索如何以更有效和可擴(kuò)展的方式提供HPC專業(yè)知識，以提高研究人員的生產(chǎn)力。例如，美國NSF應(yīng)該擴(kuò)展“極端科學(xué)與工程發(fā)現(xiàn)環(huán)境”（XSEDE）項目的良好實踐，允許研究人員在申請HPC資源使用的同時申請相應(yīng)時段的專業(yè)技術(shù)人員指導(dǎo)。這些HPC專業(yè)技術(shù)人員來自XSEDE項目的合作伙伴，他們將協(xié)助所分配的項目，以加快項目進(jìn)展、達(dá)成研究目標(biāo)。類似此類實踐，美國DOE應(yīng)為阿貢國家實驗室和橡樹嶺國家實驗室的HPC資源配備更多的HPC專業(yè)技術(shù)人員，以期同時提供給用戶、提升科研生產(chǎn)力。

圖3 2019年美國NSF XSEDE資源服務(wù)的研究領(lǐng)域分配情況

05

美國NSF應(yīng)資助兩年制學(xué)院開發(fā)HPC課程，促進(jìn)其與四年制大學(xué)的無縫銜接。

HPC專業(yè)人員的需求日益增長，但達(dá)到技術(shù)準(zhǔn)入門檻的合格技術(shù)人員數(shù)量明顯不夠。部分原因是因為兩年制學(xué)院的大學(xué)預(yù)科和四年制大學(xué)之間的教學(xué)漏洞，阻礙了許多學(xué)生從事計算機(jī)科學(xué)。為了彌補(bǔ)這一缺口，美國NSF應(yīng)該資助兩年制學(xué)院和四年制大學(xué)聯(lián)合開發(fā)HPC課程，確保兩年制學(xué)院或社區(qū)大學(xué)的學(xué)生掌握計算機(jī)科學(xué)低年級課程，以便無縫地進(jìn)入高年級學(xué)習(xí)。

06

美國NSF應(yīng)為AI研究者提供多樣化的HPC資源組合。

云計算為遠(yuǎn)程訪問HPC資源提供了可行路徑，突破了訪問HPC資源的空間限制。美國國會應(yīng)批準(zhǔn)“國家AI研究資源任務(wù)工作組法案2020”關(guān)于NSF成立專項任務(wù)組為AI研究開發(fā)國家公共云計算資源的提議。目前，美國NSF只在一個私有云環(huán)境（Jetstream）上分配HPC資源。美國NSF應(yīng)擴(kuò)大HPC資源組合以提供更多的云服務(wù)，諸如投資更多的私有云、與多種公有云合作。

圖3截至2019年美國NSF HPC系統(tǒng)和服務(wù)情況

07

美國NSF應(yīng)制定并發(fā)布路線圖，以明確未來投資方向。

下一代計算設(shè)施長期計劃可以確保研究人員訪問最先進(jìn)的計算系統(tǒng)，進(jìn)而確保他們具有比競爭對手更高的生產(chǎn)力和更快的創(chuàng)新速度。同時，長期計劃還將為科學(xué)軟件開發(fā)提供指導(dǎo)。美國DOE已經(jīng)有此類路線圖，美國NSF應(yīng)該加快步伐。美國NSF應(yīng)該每年收集用戶需求并發(fā)布路線圖，以便更好地確定HPC優(yōu)先事項和戰(zhàn)略決策。這項工作應(yīng)該由美國國家AI研究資源任務(wù)工作組牽頭。

08

美國NSF應(yīng)建立更多的公私合作伙伴關(guān)系。

為實現(xiàn)AI研究投資回報最大化，需要有效的機(jī)制促進(jìn)AI基礎(chǔ)研究轉(zhuǎn)化為市場產(chǎn)品和服務(wù)。目前，美國NSF已啟動“創(chuàng)新伙伴關(guān)系計劃”，資助NSF項目與工業(yè)界合作研發(fā)，旨在加速新技術(shù)向市場的轉(zhuǎn)化。但是，目前該計劃每年僅可以資助50個項目，美國NSF應(yīng)該加大該計劃的資助力度，至少增加到每年150個項目。為實施國家AI研究所計劃，美國NSF已與埃森哲、亞馬遜、谷歌和英特爾建立了合作伙伴關(guān)系，共同解決全國性的AI問題。此外，美國NSF應(yīng)該支持區(qū)域能力發(fā)展，鼓勵大學(xué)、地方企業(yè)、州和地方政府之間的合作。

09

美國DOE和NSF應(yīng)采用新的工具和流程，以確保用戶更合理和更有效地利用HPC資源。

通過分析用戶對HPC系統(tǒng)使用情況來優(yōu)化資源管理，以實現(xiàn)最大的HPC投資回報。美國DOE和NSF應(yīng)要求所有獲得HPC資源資助的機(jī)構(gòu)采用審計工具，以了解它們使用HPC系統(tǒng)的最佳方式。此外，美國NSF還應(yīng)建立中心系統(tǒng)機(jī)構(gòu)定期審查機(jī)制和用戶業(yè)務(wù)跟進(jìn)機(jī)制，以及時獲得反饋，進(jìn)而更新HPC戰(zhàn)略。

原文標(biāo)題：【政策規(guī)劃?算】美國智庫就如何擴(kuò)大HPC資源的使用提出具體建議

文章出處：【微信公眾號：集成電路研發(fā)競爭情報】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq