海量數(shù)據(jù)推動(dòng)云計(jì)算和IPFS迅速發(fā)展，存儲(chǔ)器持續(xù)向大容量、高性能演進(jìn)

（文/程文智）據(jù)IDC的預(yù)測(cè)，到2024年，全球?qū)?chuàng)建、復(fù)制和消費(fèi)143ZB的數(shù)據(jù)，其中中國(guó)創(chuàng)建的數(shù)據(jù)為36ZB，占25%。如此龐大的數(shù)據(jù)有多少被存儲(chǔ)下來(lái)了呢？西部數(shù)據(jù)認(rèn)為只有不到1.5%的數(shù)據(jù)被存儲(chǔ)下來(lái)了。業(yè)界更是有人認(rèn)為這個(gè)估計(jì)過(guò)于樂(lè)觀，被存儲(chǔ)下來(lái)的數(shù)據(jù)其實(shí)是低于這個(gè)比例的。

企業(yè)級(jí)存儲(chǔ)架構(gòu)面臨挑戰(zhàn)

為什么會(huì)出現(xiàn)這種情況呢？幾年前業(yè)界就在宣傳數(shù)據(jù)是當(dāng)代石油，是發(fā)展的動(dòng)力。那這么多寶貴的石油就這樣流失掉了，沒(méi)有進(jìn)行挖掘和分析處理，不是很浪費(fèi)嗎？

西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼認(rèn)為，這么多數(shù)據(jù)沒(méi)有被存儲(chǔ)下來(lái)的主要原因是因?yàn)榇鎯?chǔ)的架構(gòu)和存儲(chǔ)的技術(shù)沒(méi)有及時(shí)跟上，因此大部分的數(shù)據(jù)都沒(méi)有辦法被存儲(chǔ)下來(lái)并及時(shí)使用。

圖1：西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼

這也就是說(shuō)，目前企業(yè)級(jí)的存儲(chǔ)架構(gòu)正面臨著一些不可避免的挑戰(zhàn)，包括數(shù)據(jù)增長(zhǎng)迅速、存儲(chǔ)性能需求倍增、TCO成本負(fù)擔(dān)增加，及更綠色能耗體系標(biāo)準(zhǔn)的挑戰(zhàn)。

人們需要大容量、能快速訪問(wèn)、并且成本更低，能耗更低的存儲(chǔ)。那么，有沒(méi)有一個(gè)存儲(chǔ)設(shè)備，或者一種存儲(chǔ)介質(zhì)能夠同時(shí)滿(mǎn)足這四個(gè)方面的要求呢？

劉鋼在不久前的2021深圳國(guó)際大數(shù)據(jù)與存儲(chǔ)峰會(huì)上表示，能滿(mǎn)足這四個(gè)要求的單一存儲(chǔ)介質(zhì)或者存儲(chǔ)設(shè)備的確是非常難找到。但幸運(yùn)的是，人們可以通過(guò)創(chuàng)新的架構(gòu)，用系統(tǒng)來(lái)滿(mǎn)足用戶(hù)各方面、各種存儲(chǔ)場(chǎng)景的需求。“因?yàn)橛脩?hù)的數(shù)據(jù)是要進(jìn)行分層的，用戶(hù)的數(shù)據(jù)有不同的類(lèi)型，不同類(lèi)型的數(shù)據(jù)對(duì)存儲(chǔ)的要求也是不一樣的?！?/p>

創(chuàng)新存儲(chǔ)架構(gòu)應(yīng)對(duì)海量數(shù)據(jù)需求

在劉鋼看來(lái)，數(shù)據(jù)是有分層的，因此他把數(shù)據(jù)分成了極熱數(shù)據(jù)、熱數(shù)據(jù)、溫?cái)?shù)據(jù)、冷數(shù)據(jù)和極冷數(shù)據(jù)五層。并且還劃分了每層對(duì)應(yīng)的應(yīng)用場(chǎng)景。

而對(duì)于不同層的數(shù)據(jù)，需要采用的存儲(chǔ)介質(zhì)和存儲(chǔ)設(shè)備是不一樣的。比如對(duì)于冷數(shù)據(jù)和極冷數(shù)據(jù)而言，業(yè)界目前常用的方案是高密度的大容量企業(yè)級(jí)硬盤(pán)。

圖2：創(chuàng)新的分層存儲(chǔ)架構(gòu)。（來(lái)源：西部數(shù)據(jù)）

劉鋼對(duì)媒體表示，目前高密度企業(yè)級(jí)硬盤(pán)已經(jīng)進(jìn)化到了18T。針對(duì)極冷存儲(chǔ)，西部數(shù)據(jù)利用軟件和技術(shù)優(yōu)化，采用了SMR疊瓦式的硬盤(pán)能做到20T的高密度企業(yè)應(yīng)用。

談到具體產(chǎn)品，劉鋼介紹說(shuō)，20TB Ultrastar DC HC650主機(jī)管理SMR HDD和16TB與18TB Ultrastar DC HC550 CMR HDD已經(jīng)于2019年9月發(fā)布，是優(yōu)先進(jìn)入商業(yè)化實(shí)施階段的EAMR技術(shù)。憑借西部數(shù)據(jù)HelioSeal技術(shù)提供的出色功耗以及機(jī)械創(chuàng)新（例如提高磁頭定位精度并提供更大容量功能的TSA），這些HDD可提供領(lǐng)先的面密度，九磁碟硬盤(pán)還使客戶(hù)能夠更有效地配置和擴(kuò)展數(shù)據(jù)中心環(huán)境，同時(shí)提供更低的總體擁有成本。

圖3：大數(shù)據(jù)多使用極冷存儲(chǔ)和冷存儲(chǔ)，因?yàn)楹芏鄷r(shí)候人們并不需要時(shí)刻讀取。（來(lái)源：西部數(shù)據(jù)）

單位TB價(jià)格（ $/TB） 是存儲(chǔ)服務(wù)器購(gòu)置成本的關(guān)鍵組成部分，也是構(gòu)建現(xiàn)代云數(shù)據(jù)中心的一個(gè)考量核心。相比較于$/TB這一維度，TCO則更能體現(xiàn)準(zhǔn)確的數(shù)據(jù)中心運(yùn)營(yíng)成本：TCO 的降低并不限于降低 $/TB。每個(gè)硬盤(pán)的容量越大，意味著更少的服務(wù)器擁有更大的儲(chǔ)存容量，從而節(jié)省資本支出和運(yùn)營(yíng)成本。例如從14TB遷移到18TB呈現(xiàn)出顯著的TCO收益：服務(wù)器減少了22%；TCO降低了11%。鑒于數(shù)據(jù)中心占用空間有限，通過(guò)更高的HDD容量進(jìn)行更密集的存儲(chǔ)部署，還可以產(chǎn)生更多的收入。

存儲(chǔ)服務(wù)器的成本通常要求控制在數(shù)據(jù)中心總體運(yùn)營(yíng)成本的60%以?xún)?nèi)。而實(shí)際上，更高容量的HDD可以更有效地平衡這一需求。西部數(shù)據(jù)持續(xù)進(jìn)行多項(xiàng)技術(shù)的創(chuàng)新，例如能量輔助、機(jī)械設(shè)計(jì)、材料和記錄技術(shù)，幫助所有數(shù)據(jù)中心客戶(hù)，無(wú)論是超大規(guī)模云客戶(hù)，大型企業(yè)還是中小企業(yè)來(lái)有效應(yīng)對(duì)他們的數(shù)據(jù)基礎(chǔ)架構(gòu)挑戰(zhàn)。

圖4：從左到右依次為：西部數(shù)據(jù)Ultrastar DC HC550 HDD 16TB、Ultrastar DC HC550 HDD 18TB和Ultrastar DC HC650 HDD 20TB

劉鋼還透露了一個(gè)消息，那就頭部的云服務(wù)商硬盤(pán)在過(guò)去4年當(dāng)中，從8T進(jìn)化到了18T。而的IPFS的服務(wù)商則在以更快的速度進(jìn)化，他們幾乎在過(guò)去四個(gè)季度就走完了云服務(wù)商過(guò)去4年的演進(jìn)過(guò)程，也從8T進(jìn)化到了18T。

圖5：云服務(wù)商與IPFS服務(wù)商使用硬盤(pán)的演進(jìn)過(guò)程。

為什么數(shù)據(jù)中心能迅速?gòu)?T進(jìn)化到18T呢？其實(shí)是當(dāng)數(shù)據(jù)中心只是從14T升級(jí)到18T，為了達(dá)到同樣存儲(chǔ)的容量，服務(wù)器數(shù)量會(huì)減少約22%，而且不僅是服務(wù)器數(shù)量減少了，存儲(chǔ)密度也提高了，而且單位功耗還降低了約21%，因此部署成本降低了，運(yùn)維成本也降低了。

除了大數(shù)據(jù)之外，還有一部分的數(shù)據(jù)用戶(hù)需要能夠快速訪問(wèn)，比如像熱存儲(chǔ)、溫存儲(chǔ)等，這些數(shù)據(jù)指的就是快速據(jù)。西部數(shù)據(jù)把SSD劃分成了兩類(lèi)，一類(lèi)是主流的SSD，還有一類(lèi)是針對(duì)寫(xiě)密集、計(jì)算密集的高性能SSD。

據(jù)劉鋼介紹，西部數(shù)據(jù)推出了新的Ultrastar DC SN840 NVMe SSD和Ultrastar DC SN640 NVMe SSD。應(yīng)用到IPFS里面，尤其是針對(duì)封裝計(jì)算機(jī)、封裝服務(wù)器的時(shí)候用SSD，對(duì)于IPFS的封裝機(jī)器來(lái)講，4個(gè)7.68T的SSD能提供非常好的加速。

談到SSD，目前其主要容量點(diǎn)是3.84T和7.68T。“SSD的主要成本在閃存（Flash），F(xiàn)lash決定了SSD硬盤(pán)的成本和性能。所以一家SSD的供應(yīng)商需要有大規(guī)模的產(chǎn)能，能夠保證供應(yīng)，同時(shí)能夠降低成本，還要有領(lǐng)先的Flash技術(shù)能夠提供高性能Flash、有自主可控的控制器和部件來(lái)縱向地優(yōu)化SSD的產(chǎn)品，提供一致穩(wěn)定的高性能，而不只是某個(gè)時(shí)間的高性能或者峰值的高性能。”他指出。

圖6：西部數(shù)據(jù)發(fā)布第六代3D閃存技術(shù)。（來(lái)源：西部數(shù)據(jù)）

劉鋼還提到了他們剛剛發(fā)布的第6代3D閃存技術(shù)，162層的3D閃存技術(shù)，該技術(shù)會(huì)進(jìn)一步地縮小芯片的尺寸，降低成本、提高性能。它的程序性能可以提高兩倍以上，輸入/輸出的IOPS提高約66%。

圖7：西部數(shù)據(jù)的企業(yè)級(jí)固態(tài)硬盤(pán)的技術(shù)優(yōu)勢(shì)。

在劉鋼看來(lái)，西部數(shù)據(jù)最大的優(yōu)勢(shì)是縱向集成的優(yōu)勢(shì)。他們不僅有控制器及其固件，再將它們與Flash縱向集成后，可以達(dá)到非常穩(wěn)定的一致性。

圖8：西部數(shù)據(jù)存儲(chǔ)硬件方案和優(yōu)勢(shì)。

與合作伙伴的成功案例

截止目前，西部數(shù)據(jù)已經(jīng)與諸多行業(yè)領(lǐng)先的公司開(kāi)展了合作，致力于依靠行業(yè)領(lǐng)先的技術(shù)和整體解決方案來(lái)支持客戶(hù)與合作伙伴。

1.Dropbox超大容量企業(yè)級(jí)HDD全球應(yīng)用
Dropbox與西部數(shù)據(jù)攜手，為確保流暢無(wú)縫地實(shí)現(xiàn)向SMR的遷移，Dropbox針對(duì)其特定機(jī)箱配置進(jìn)行內(nèi)部測(cè)試，采用SMR技術(shù)替換原有CMR技術(shù)后存儲(chǔ)密度增加了10%-20%，節(jié)約了20%的TCO。

作為率先認(rèn)證Ultrastar 20TB SMR HDD的企業(yè)之一，Dropbox利用數(shù)據(jù)中心的大容量、高效率和擴(kuò)展能力，應(yīng)對(duì)滿(mǎn)足全球企業(yè)、團(tuán)隊(duì)和個(gè)人對(duì)云存儲(chǔ)和服務(wù)不斷增長(zhǎng)的前沿需求。Dropbox日前成為首批認(rèn)證西部數(shù)據(jù)主機(jī)管理疊瓦式磁記錄 SMR HDD — Ultrastar DC HC650 20TB — 的企業(yè)之一。通過(guò)將西部數(shù)據(jù)SMR HDD用作定制的EB級(jí)存儲(chǔ)平臺(tái)的存儲(chǔ)基石，Dropbox遵循其戰(zhàn)略路線(xiàn)，以更好總體擁有成本（TCO）實(shí)現(xiàn)更高的存儲(chǔ)密度。

2.浪潮、星辰天合的IPFS解決方案
西部數(shù)據(jù)、浪潮、星辰天合多方攜手，聯(lián)合推出IPFS 解決方案，在軟件層面，該解決方案搭載了專(zhuān)為 IPFS 場(chǎng)景而生的 XSFS（XSKY Scalable File System）系統(tǒng)，通過(guò)全新的存儲(chǔ)技術(shù)手段，基于通用的 X86 服務(wù)器構(gòu)建了一個(gè)無(wú)限擴(kuò)容、持續(xù)在線(xiàn)的高性?xún)r(jià)比存儲(chǔ)架構(gòu)體系，在保證數(shù)據(jù)高安全性的同時(shí)，打破存儲(chǔ)規(guī)模壁壘，降低 IPFS 建設(shè)的投入，滿(mǎn)足 IPFS 業(yè)務(wù)存儲(chǔ)需求。

在硬件層面，該解決方案包括浪潮英信服務(wù)器 NF5466M5、西部數(shù)據(jù) Ultrastar DC SN840 SSD、Ultrastar DC HC550 硬盤(pán)以及 Ultrastar Data60 JBOD 存儲(chǔ)平臺(tái)。通過(guò)搭載 44 塊/36 塊大容量的 Ultrastar DC HC550，NF5466M5 為 IPFS 存儲(chǔ)提供了海量的存儲(chǔ)空間，并借助硬盤(pán)的高穩(wěn)定性，顯著降低復(fù)制證明和時(shí)空證明提交過(guò)程中出現(xiàn)錯(cuò)誤的幾率。

3.聯(lián)手杉巖數(shù)據(jù)打造IPFS解決方案
杉巖數(shù)據(jù)聯(lián)合西部數(shù)據(jù)，共同推出搭載了杉巖 MOS 海量對(duì)象存儲(chǔ)系統(tǒng)以及西部數(shù)據(jù)SSD, HDD與JBOD存儲(chǔ)平臺(tái)，并針對(duì) IPFS 進(jìn)行了優(yōu)化的解決方案。該系統(tǒng)能夠滿(mǎn)足算力集群數(shù)據(jù)寫(xiě)入需要的高吞吐量存儲(chǔ)集群性能，并對(duì)時(shí)空證明請(qǐng)求進(jìn)行了優(yōu)化，使其可以獲取多個(gè)文件的多段內(nèi)容。同時(shí)，杉巖數(shù)據(jù)還在該方案中部署了 EC（22+2）冗余技術(shù)，實(shí)現(xiàn)了高達(dá) 91.6% 的存儲(chǔ)空間利用率。

該解決方案搭載了西部數(shù)據(jù) Ultrastar DC SN840 NVMe SSD和Ultrastar DC SN640 NVMe SSD，Ultrastar DC HC550 18TB大容量HDD，以及 Ultrastar Data102 JBOD 存儲(chǔ)平臺(tái)，可以全面滿(mǎn)足 IPFS 存儲(chǔ)集群需求。得益于西部數(shù)據(jù)在存儲(chǔ)硬件方面的優(yōu)勢(shì)以及杉巖數(shù)據(jù)卓越的存儲(chǔ)系統(tǒng)設(shè)計(jì)，該解決方案能夠幫助 IPFS 服務(wù)提供商顯著提升性能、穩(wěn)定性并提升投資回報(bào)率。其中 Ultrastar DC HC550 HDD 18TB的超大容量以及 Ultrastar Data102 的組合有利于實(shí)現(xiàn)集約性的空間設(shè)計(jì)，使得組建 IPFS集群所需要的機(jī)柜空間、電源功耗、硬件成本大大降低。

4.聯(lián)手長(zhǎng)城超云打造IPFS新范式
長(zhǎng)城超云與西部數(shù)據(jù)聯(lián)手打造出多款完美貼合IPFS場(chǎng)景的產(chǎn)品級(jí)解決方案，在IPFS行業(yè)種得到廣泛的應(yīng)用。

方案主要以西部數(shù)據(jù)高性能大容量企業(yè)級(jí)硬盤(pán)Ultrastar DC HC550系列的18TB HDD為基礎(chǔ)，設(shè)計(jì)了異構(gòu)產(chǎn)品組合的集群測(cè)試方案，包括Miner、Worker和Storage，大幅提升了客戶(hù)的業(yè)務(wù)效率，從而增強(qiáng)了客戶(hù)在IPFS領(lǐng)域的核心競(jìng)爭(zhēng)力。通過(guò)優(yōu)越的產(chǎn)品配置與算法調(diào)優(yōu)使得整體效率提升50%以上，同時(shí)單T有效算力硬件成本大幅降低。