什么樣的數(shù)據(jù)架構(gòu)才能滿足ZB時(shí)代數(shù)據(jù)存儲需求？

2019年的存儲市場遇到了需求趨緩、價(jià)格下跌、庫存積壓等不利因素的影響，但并沒有影響存儲市場需求的不斷增長和產(chǎn)品技術(shù)的不斷提升。在不久前于深圳舉辦的閃存市場峰會（CFMS 2019）上，西部數(shù)據(jù)公司高級副總裁兼中國區(qū)總經(jīng)理Steven Craig在大會上進(jìn)行了“ZB時(shí)代的數(shù)據(jù)存儲核心架構(gòu)–機(jī)遇、挑戰(zhàn)和階段”的主題演講，在演講中Steven也對存儲市場的前景表示樂觀，他認(rèn)為，NAND閃存市場將會在年底重拾上行之勢。

圖1：西部數(shù)據(jù)公司高級副總裁兼中國區(qū)總經(jīng)理Steven Craig認(rèn)為NAND閃存將會重拾上行之勢。

做出這個(gè)判斷的原因是，他看到現(xiàn)在的數(shù)據(jù)產(chǎn)生量在不斷攀升中，2018年約產(chǎn)生了32ZB的數(shù)據(jù)，ZB是個(gè)什么概念呢？我們現(xiàn)在的手機(jī)存儲容量一般是64GB，1ZB=1024EB=1024×1024PB=1024×1024×1024TB=1024×1024×1024×1024GB，即10⁴⁰GB，約1萬億GB。這是一個(gè)超級龐大的數(shù)字，“到2023年，預(yù)計(jì)會產(chǎn)生103ZB的數(shù)據(jù)。” Steven Craig進(jìn)一步指出。這些數(shù)據(jù)主要來源于末端的邊緣數(shù)據(jù)、在邊緣進(jìn)行整合后的數(shù)據(jù)，以及在云端經(jīng)過了處理和轉(zhuǎn)換的智能信息。

在Steven Craig看來，這些看似龐大的數(shù)據(jù)其實(shí)只有小部分會被存儲下來，比如說2018年的數(shù)據(jù)存儲量是5ZB左右，占產(chǎn)生數(shù)據(jù)的15%；預(yù)計(jì)到2023年，存儲下來的數(shù)據(jù)為12ZB左右，占產(chǎn)生數(shù)據(jù)的11%，其他的數(shù)據(jù)將會失散掉，而且將永遠(yuǎn)也不可能找回來了。

存下來的數(shù)據(jù)如此少，是有原因的，其中一個(gè)重要原因就是我們的存儲技術(shù)和設(shè)備沒有趕上數(shù)據(jù)增長的新趨勢。因此，Steven Craig指出，“我們必須轉(zhuǎn)變我們的思維模式，為未來更大規(guī)模的數(shù)據(jù)存儲做準(zhǔn)備，準(zhǔn)備好相關(guān)的技術(shù)。”

圖2：2018年產(chǎn)生的數(shù)據(jù)為32ZB，存儲的數(shù)據(jù)量為5ZB；預(yù)計(jì)2023年將會產(chǎn)生103ZB的數(shù)據(jù)。

隨著數(shù)據(jù)量的迅速增大，主流存儲技術(shù)也在迅速向前推進(jìn)中。3D NAND閃存從2014年的24層，到2016年的48層，到2017年的64層，再到2018年的96層，以及明年的1XX層，技術(shù)更新速度越來越快。

圖3：NAND閃存技術(shù)的快速發(fā)展。

不過，Steven Craig在主題演講中也提到，單純地增加層數(shù)，看似簡單，但實(shí)際上并沒有幫助生產(chǎn)企業(yè)降低成本，而是增加了更多的成本，而且有可能會出現(xiàn)錯(cuò)誤。增加層數(shù)，意味著需要制造更多的晶圓，從而導(dǎo)致成本上升，他拿48層擴(kuò)展到64層舉例說，當(dāng)時(shí)的成本大概是8000美元每平方米?！爱?dāng)然，我們可以通過規(guī)?；a(chǎn)來降低成本?！?Steven Craig指出。

目前，擴(kuò)大閃存的容量主要有三種方法：一是增加存儲孔密度；二是增加存儲單元密度；三是通過邏輯擴(kuò)展增加比特密度。

圖4：增加閃存容量的三種維度。

三種維度增加容量的效果各不相同，“從64層擴(kuò)展到96層時(shí)，存儲孔密度大概增加了10%；存儲單元密度增加了68%；TLC比特密度增加了65%。綜合這三種方法就可以看到整個(gè)閃存容量的增長了?！?Steven Craig在演講中表示。

邏輯擴(kuò)展中，目前主流的技術(shù)是TLC，不過下一代將會是QLC，QLC可以實(shí)現(xiàn)每個(gè)存儲單元4比特的數(shù)據(jù)，他預(yù)計(jì)到2025年，整個(gè)QLC的市場占有率會增加到50%，這包括企業(yè)級、消費(fèi)級和移動類的閃存應(yīng)用。

圖5：QLC與TLC增加的比特密度對比。

雖然QLC具有可擴(kuò)展、成本/TCO效益和極佳的訪問和讀取性能等優(yōu)點(diǎn)，未來可能會迅速崛起，但是不是會一帆風(fēng)順地接班TLC呢？那也未必，因?yàn)槟壳癚LC也面臨著一些關(guān)鍵的挑戰(zhàn)，比如說寫入限制。

面臨寫入限制挑戰(zhàn)的不止有QLC，還有疊瓦式磁記錄（SMR），該技術(shù)在制造工藝方面的變動非常微小，但卻可以大幅提高磁盤存儲密度。SMR盤將盤片上的數(shù)據(jù)磁道部分重疊，就像屋頂上的瓦片一樣。

盡管SMR盤的讀行為和普通磁盤相同，但它的寫行為有了巨大的變化：不再支持隨機(jī)寫和原地更新寫。這是由于SMR盤上新寫入的磁道會覆蓋與之重疊的所有磁道，從而摧毀其上的數(shù)據(jù)。換言之，相較傳統(tǒng)磁盤而言，SMR盤不再支持隨機(jī)寫，只能進(jìn)行順序追加寫。寫入方式的限制給欲使用SMR盤的存儲系統(tǒng)帶來了巨大的挑戰(zhàn)。

為了應(yīng)對QLC和SMR這兩種高容量存儲盤面臨的寫入限制挑戰(zhàn)，不能停留在介質(zhì)本身，而是要看整個(gè)數(shù)據(jù)的基礎(chǔ)架構(gòu)，因此西部數(shù)據(jù)提出了一個(gè)開源的標(biāo)準(zhǔn)化的分區(qū)存儲技術(shù)，Steven Craig表示，希望西部數(shù)據(jù)的分區(qū)存儲架構(gòu)可以賦能應(yīng)用層、主機(jī)和存儲，互相協(xié)調(diào)數(shù)據(jù)存放位置，充分利用在SMR HDD上可以實(shí)現(xiàn)的最大存儲容量，以及在融入新興分區(qū)命名空間（ZNS）標(biāo)準(zhǔn)的NVMe SSD上實(shí)現(xiàn)更好的耐久性、可預(yù)測的低延遲和QoS（服務(wù)質(zhì)量）性能。

圖6：西部數(shù)據(jù)公司產(chǎn)品市場部副總裁朱海翔。

西部數(shù)據(jù)公司產(chǎn)品市場部副總裁朱海翔表示，分區(qū)存儲技術(shù)可應(yīng)對新興應(yīng)用帶來的數(shù)據(jù)爆炸，幫助用戶在ZB級容量的存儲時(shí)代保持具有競爭力的總體擁有成本，并實(shí)現(xiàn)更大的規(guī)模效益。

“自從西部數(shù)據(jù)6月份推出分區(qū)存儲技術(shù)后，我們已經(jīng)和全球基本上所有的大型云服務(wù)商和大型OEM系統(tǒng)廠商共同攜手，能夠?qū)崿F(xiàn)整個(gè)系統(tǒng)層面的智能化數(shù)據(jù)安全，可以很好地幫助最大存儲密度的QLC在數(shù)據(jù)中心的大規(guī)模部署?！爸旌Ｏ柙诿襟w群訪時(shí)表示。

對于數(shù)據(jù)安全，他特別指出包括三個(gè)方面的保障：

第一，從存儲器的固件上，西部數(shù)據(jù)的固件提供了多種加密選項(xiàng)供系統(tǒng)廠商選擇，比如說SE、ISE、SED，各種加密的選擇標(biāo)準(zhǔn)都可以滿足，這樣的話可以很好的配合系統(tǒng)層，甚至一些國家的規(guī)定，增加在系統(tǒng)端對于存儲硬件、軟件順利的加密。

第二，從產(chǎn)品的特性上，西部數(shù)據(jù)的產(chǎn)品有一個(gè)Host Lock，當(dāng)你插入系統(tǒng)或拔出系統(tǒng)都有一個(gè)“握手”的過程，如果說“握手”不成功，就根本沒有辦法得出數(shù)據(jù)，這是通過軟件層面實(shí)現(xiàn)的。該技術(shù)，在SD卡上叫Host Lock，HDD上叫ATA。

第三，從元器件的健康管理上，以硬盤為例，西部數(shù)據(jù)有兩種健康管理。一種是基于設(shè)備，西部數(shù)據(jù)能夠根據(jù)設(shè)備上的超過幾百種參數(shù)，通過人工智能的方式預(yù)測硬盤在什么時(shí)候會壞。這樣，可以預(yù)先進(jìn)行維護(hù)、更換或者遷移數(shù)據(jù)。

圖7：西部數(shù)據(jù)提出的分區(qū)存儲架構(gòu)。

在演講中，Steven Craig還介紹了西部數(shù)據(jù)在分區(qū)存儲技術(shù)生態(tài)系統(tǒng)中的兩種硬盤，其15GB的SMR HDD硬盤已經(jīng)批量出貨，20TB的SMR HDD預(yù)計(jì)將在明年正式上市；ZNS NVMe SSD平臺也推出了一款產(chǎn)品DC SN340。

Steven Craig認(rèn)為，SMR和ZNS將通過提供智能化應(yīng)用架構(gòu)成為當(dāng)前和未來ZB級數(shù)據(jù)時(shí)代的關(guān)鍵基石。

圖8：開源的分區(qū)存儲生態(tài)。

除了分享閃存技術(shù)的發(fā)展趨勢，西部數(shù)據(jù)在本次CFMS2019上帶來了專為工業(yè)4.0時(shí)代和物聯(lián)網(wǎng)設(shè)備設(shè)計(jì)的三款全新解決方案：iNAND IX EM132嵌入式閃存盤、IX LD342 SD存儲卡和IX QD342 microSD存儲卡。

圖9：西部數(shù)據(jù)推出的面向工業(yè)和物聯(lián)網(wǎng)應(yīng)用的三款全新解決方案：iNAND IX EM132嵌入式閃存盤、IX LD342 SD存儲卡和IX QD342 microSD存儲卡。

談到發(fā)布這三款工業(yè)級產(chǎn)品的原因，西部數(shù)據(jù)公司產(chǎn)品市場部總監(jiān)張丹解釋說，他們經(jīng)過對現(xiàn)在及未來ZB時(shí)代數(shù)據(jù)的分析和研判后發(fā)現(xiàn)了數(shù)據(jù)的兩個(gè)趨勢：一是數(shù)據(jù)上云；二是算力下發(fā)。

數(shù)據(jù)上云很好理解，算力下發(fā)就是指邊緣計(jì)算，以后會有越來越多的計(jì)算能力會放在邊緣端，也就是說邊緣端的計(jì)算能力會越來越強(qiáng)，邊緣計(jì)算增強(qiáng)后，會創(chuàng)建出很多新的商業(yè)模式，比如自動笑臉、無人商超、智能安防、自動駕駛、智慧工廠等等。這些不斷變化的物聯(lián)網(wǎng)和工業(yè)解決方案，都會實(shí)時(shí)生成海量的數(shù)據(jù)。因此，“為了適配增強(qiáng)的計(jì)算能力，以及由該計(jì)算能力推動的數(shù)據(jù)變化，我們推出了一些列配合邊緣計(jì)算的產(chǎn)品?！睆埖ぶ赋?。

圖10：西部數(shù)據(jù)公司產(chǎn)品市場部總監(jiān)張丹在介紹西部數(shù)據(jù)的系列產(chǎn)品。

雖然都是邊緣存儲的需求，但因?yàn)槲锫?lián)網(wǎng)和工業(yè)的應(yīng)用場景太多了，而不同應(yīng)用場景對存儲的要求其實(shí)是不一樣的。張丹按照存儲要求的不同，將物聯(lián)網(wǎng)和工業(yè)的應(yīng)用場景分成了四類：

一是基于圖像，尤其是需要進(jìn)行圖像分析的應(yīng)用場景，比如安防、無人機(jī)、交通、穿戴式攝像頭等。該場景下存儲器的工作負(fù)載非常大。它是以高碼率的數(shù)據(jù)流、圖像流，長時(shí)間持續(xù)的寫入。這對存儲器件的帶寬和寫入壽命有一定要求，或者是非常嚴(yán)苛的要求。

二是工業(yè)網(wǎng)關(guān)、工業(yè)自動化和自動建筑應(yīng)用場景。該場景下，可能沒有高頻的數(shù)據(jù)流的寫入，但要求高可靠性，因?yàn)榇鎯ζ骷ぷ鞯沫h(huán)境非常的嚴(yán)苛，器件能不能適合嚴(yán)苛的、潮濕的或是多震、高海拔的等等不可控、不可抗，甚至是特殊的應(yīng)用場景，也要在設(shè)計(jì)中考慮覆蓋這部分的應(yīng)用需求。

三是物聯(lián)網(wǎng)模塊、智慧醫(yī)療、自動售貨、嵌入式數(shù)據(jù)等新興應(yīng)用場景。這類應(yīng)用場景，未來不知道會發(fā)展到什么程度，還有太多未知的領(lǐng)域和數(shù)據(jù)鏈條可能要去探討。

四是數(shù)字標(biāo)牌、銷售點(diǎn)、控制平臺等傳統(tǒng)的應(yīng)用場景。這類應(yīng)用場景需要滿足可靠性、有效性、數(shù)據(jù)的互通性，以及跟平臺的配合性等需求。

總的來說，要想滿足這些不同應(yīng)用場景下的物聯(lián)網(wǎng)和工業(yè)需求，存儲產(chǎn)品需要滿足溫度、使用壽命、可靠性等需求。

隨后，張丹詳細(xì)介紹了西部數(shù)據(jù)新推出的工業(yè)級存儲產(chǎn)品。

其中，iNAND IX EM132嵌入式閃存盤，是西部數(shù)據(jù)首款專為工業(yè)及物聯(lián)網(wǎng)設(shè)備應(yīng)用而設(shè)計(jì)的e.MMC嵌入式閃存盤，搭載了西部數(shù)據(jù)高可靠性的64層3D NAND技術(shù)，最大容量已經(jīng)提升到256GB。該產(chǎn)品有兩種版本的寬溫范圍，分別是-25°C至+ 85°C以及-40°C至85°C。

她特別提到，iNAND IX EM132嵌入式閃存盤是西部數(shù)據(jù)第一款基于3D技術(shù)的工業(yè)級產(chǎn)品，前兩代產(chǎn)品都是基于2D的MLC。雖然采用的是3D TLC，但該閃存盤還是延續(xù)了其2D產(chǎn)品需要的3000次PE循環(huán)，支持最新的e.MMC5.0標(biāo)準(zhǔn)，隨機(jī)寫入速度可達(dá)200M/s以上。同時(shí)，它也支持高級運(yùn)行狀況管理、熱管理、智能分區(qū)、自動和手動讀刷新等特性，以及達(dá)到了JEDEC標(biāo)準(zhǔn)的數(shù)據(jù)保持力。

“經(jīng)過我們的設(shè)計(jì)，TLC可以達(dá)到3000次PE，但當(dāng)在對耐久性有更高要求的新興應(yīng)用場景中，我們還可以通過智能分區(qū)特性，將我們器件里的一部分或者全部還原成SLC，SLC的壽命或者讀寫次數(shù)可以達(dá)到10萬次/100k。”張丹進(jìn)一步解釋說，“智能分區(qū)還有一個(gè)好處是，在還原SLC的過程中，可實(shí)現(xiàn)純粹的物理分區(qū)或隔離。”·

IX LD342 SD存儲卡和IX QD342 microSD采用的也是3D NAND閃存技術(shù)，SD存儲卡最高可提供512GB的容量，microSD存儲卡最高可提供256GB的容量。且都具有3000P/E循環(huán)，可支持工業(yè)和物聯(lián)網(wǎng)設(shè)備的存儲需求。

這兩款產(chǎn)品同于具有運(yùn)行狀況管理和熱管理等特性，同時(shí)在存儲卡內(nèi)址如了一種功能，即主控鎖定，這在一定程度上可以保證數(shù)據(jù)的安全性，只有跟主控對密成功的主控才可以讀取存儲卡內(nèi)的數(shù)據(jù)。這樣就可以防止任何人都能讀取公共攝像頭內(nèi)存儲的數(shù)據(jù)。

上面提到的這些新產(chǎn)品在此次閃存市場峰會的西部數(shù)據(jù)展臺都有展示。

圖11：西部數(shù)據(jù)展示的IX LD342 SD存儲卡和IX QD342 microSD產(chǎn)品。

這兩款存儲器產(chǎn)品microSD卡只有食指指甲蓋大小，最高厚度為1.1mm。

圖12：與NXP合作的demo。

該demo主要用來演示存儲器已經(jīng)寫入多少次，曾經(jīng)工作過的最低溫度、最高溫度和現(xiàn)在正在運(yùn)行的溫度。它還有多長的使用壽命，已經(jīng)啟動了多少次等參數(shù)。

圖13：這里演示的是西部數(shù)據(jù)推出的ZNS SSD。

該款ZNS SSD主要針對分區(qū)存儲生態(tài)的，目前采用的是TLC，未來將會采用QLC。