你見(jiàn)過(guò)1EB的存儲(chǔ)系統(tǒng)嗎？堪稱世界上最大的單一文件系統(tǒng)

近日，全球超級(jí)計(jì)算機(jī)領(lǐng)導(dǎo)者 Cray Inc. 宣布，F(xiàn)rontiersman Cray為“最大的單一文件系統(tǒng)”提供了5000萬(wàn)美元的存儲(chǔ)合同，為美國(guó)Oak Ridge國(guó)家實(shí)驗(yàn)室（ORNL）Frontier exascale超級(jí)計(jì)算機(jī)提供1 exabyte的ClusterStor存儲(chǔ)。

Frontier是價(jià)值6億美元的Cray-AMD exascale系統(tǒng)，最高可達(dá)1.5 exaFLOPS，將于2021年交付，并于2022年驗(yàn)收。它將成為ORNL 200 petaFLOPS Summit超級(jí)計(jì)算機(jī)的后續(xù)產(chǎn)品。

Cray憑借其在5月份由AMD EPYC處理器和Radeon Instinct GPU驅(qū)動(dòng)的Shasta超級(jí)計(jì)算機(jī)贏得了Frontier競(jìng)標(biāo)，因此相關(guān)的存儲(chǔ)合同并不出乎意料。

該存儲(chǔ)解決方案是針對(duì)億億次級(jí)數(shù)據(jù)密集型工作負(fù)載的新設(shè)計(jì)，將基于下一代Cray?ClusterStor?存儲(chǔ)和Cray Slingshot?高速互連。下一代Cray?ClusterStor?存儲(chǔ)文件系統(tǒng)是基于Cray的Shasta?的架構(gòu)，并且將作為ORNL國(guó)家實(shí)驗(yàn)室的的一部分集成到Frontier exascale超級(jí)計(jì)算機(jī)。

新的存儲(chǔ)解決方案將由超過(guò)一兆字節(jié)（EB）的混合閃存和運(yùn)行Lustre?并行文件系統(tǒng)的高容量存儲(chǔ)組成。一個(gè)exabyte的存儲(chǔ)空間是1000PB，這足以存儲(chǔ)超過(guò)2億個(gè)高清電影。存儲(chǔ)解決方案將通過(guò)Slingshot系統(tǒng)互連到ORNL exascale超級(jí)計(jì)算機(jī)，實(shí)現(xiàn)系統(tǒng)上同時(shí)運(yùn)行的各種建模，仿真，分析和AI工作負(fù)載的無(wú)縫擴(kuò)展。該Frontier exascale超級(jí)計(jì)算機(jī)預(yù)計(jì)將于2021年首次亮相，成為世界上功能最強(qiáng)大的計(jì)算機(jī)，性能超過(guò)1.5 exaflops。

與ORNL目前的Summit超級(jí)計(jì)算機(jī)的存儲(chǔ)相比，這種下一代解決方案，容量是其四倍以上（超過(guò)1 EB（或1,000 PB）而不是250 PB），另外和基于Spectrum Scale的存儲(chǔ)系統(tǒng)的2.5 TB / s相比，吞吐量將超過(guò)4倍（高達(dá)10 TB / s）。面向ORNL的新型Cray ClusterStor存儲(chǔ)解決方案將包含40多個(gè)存儲(chǔ)柜，并在兩層存儲(chǔ)中提供超過(guò)1 EB的總?cè)萘?，以支持?jǐn)?shù)據(jù)的隨機(jī)和流式訪問(wèn)。主層是用于高性能臨時(shí)存儲(chǔ)的閃存層，而輔助層是用于高容量存儲(chǔ)的硬盤層。新的存儲(chǔ)系統(tǒng)將成為ORNL的中心系統(tǒng)，該Frontier exascale系統(tǒng)將由具有ZFS本地卷的Lustre全局并行文件系統(tǒng)訪問(wèn)，所有這些都在一個(gè)全局POSIX命名空間中，這將使其成為世界上最大的單個(gè)高性能文件系統(tǒng)。

ORNL的Frontier項(xiàng)目主管Justin Whitt透露，新的解決方案將為科學(xué)家提供傳統(tǒng)建模和模擬以及深度學(xué)習(xí)和數(shù)據(jù)科學(xué)所需的性能和容量。

HPC存儲(chǔ)系統(tǒng)傳統(tǒng)上使用大型硬盤陣列來(lái)滿足大量可預(yù)測(cè)的數(shù)據(jù)讀取和寫入訪問(wèn)。這與人工智能和機(jī)器學(xué)習(xí)工作負(fù)載形成鮮明對(duì)比，后者通?；旌鲜褂眯⌒秃痛笮蛿?shù)據(jù)的隨機(jī)和順序訪問(wèn)。因此，傳統(tǒng)存儲(chǔ)系統(tǒng)不適合這些工作負(fù)載的綜合使用，因?yàn)榛旌蠑?shù)據(jù)的訪問(wèn)和智能高速系統(tǒng)互連的需求，可以快速地在超級(jí)計(jì)算機(jī)上移動(dòng)大量數(shù)據(jù)，從而使這些不同的工作負(fù)載在Frontier exascale系統(tǒng)上同時(shí)運(yùn)行。

下一代基于ClusterStor的存儲(chǔ)解決方案通過(guò)提供閃存和容量存儲(chǔ)的混合來(lái)支持復(fù)雜的訪問(wèn)模式，強(qiáng)大的新軟件堆棧以提高數(shù)據(jù)的可管理性和分層，以及通過(guò)計(jì)算和存儲(chǔ)實(shí)現(xiàn)無(wú)縫擴(kuò)展，從而解決了這些挑戰(zhàn)。除了擴(kuò)展之外，存儲(chǔ)與Slingshot網(wǎng)絡(luò)的直接連接消除了對(duì)大多數(shù)傳統(tǒng)HPC網(wǎng)絡(luò)所需的存儲(chǔ)路由器的需求。此外，由于Slingshot是以太網(wǎng)兼容的，這樣可以降低整個(gè)系統(tǒng)的成本，降低復(fù)雜性并降低延遲，從而提供更高的前所未有的應(yīng)用性能和ROI。

通過(guò)將超級(jí)計(jì)算的性能和規(guī)模與云計(jì)算的生產(chǎn)力和完整的數(shù)據(jù)中心互操作性相結(jié)合，Cray的Shasta超級(jí)計(jì)算機(jī)，ClusterStor存儲(chǔ)和Slingshot互連正迅速成為億億時(shí)代的領(lǐng)先技術(shù)選擇?；萜照?3億美元的價(jià)格收購(gòu)Cray，該交易預(yù)計(jì)將在技術(shù)巨頭2020財(cái)年的第一季度完成。這意味著HPE現(xiàn)在正處于億元計(jì)算競(jìng)爭(zhēng)中，并將提供自己的存儲(chǔ)。Cray宣布其計(jì)算，軟件，存儲(chǔ)和互連功能正在為HPC和企業(yè)客戶提供產(chǎn)品，預(yù)計(jì)可用性將從2019年底開(kāi)始 。

值得關(guān)注的是，Cray / Intel Aurora exaflopper將于2021年推出，與Frontier一樣。日本的Arm-powered Post-K exascale系統(tǒng)也即將到期，中國(guó)的天河-3可能會(huì)在2020年出現(xiàn)。ATOS為歐洲處理器計(jì)劃提供的歐盟exascale計(jì)算機(jī)預(yù)計(jì)將在2021年推出其首批系統(tǒng)，其中1個(gè)exaFLOPS Gen 2 GPP Cronos系統(tǒng)將于2022年至2023年推出。IBM也將參加exascale競(jìng)賽，El Capitan也將于2021年參加Argonne領(lǐng)導(dǎo)計(jì)算機(jī)設(shè)施。屆時(shí)存儲(chǔ)社區(qū)將透露更多關(guān)于各大超級(jí)計(jì)算機(jī)上的存儲(chǔ)系統(tǒng)。