西部數(shù)據(jù)推出分區(qū)存儲技術 引領數(shù)據(jù)中心進入ZB時代

這是一個萬物皆可數(shù)字化的時代，我們的世界正在全面交由0和1來構建。IDC的報告指出，現(xiàn)在每一年人類所創(chuàng)造的數(shù)據(jù)總量都相當過去人類歷史中產生數(shù)據(jù)的總和。根據(jù)預測，2023年人類數(shù)據(jù)的產生將會超過100個ZB（數(shù)據(jù)單位量級GBTBPBEBB）。

過去幾年，全球及中國的ICT市場規(guī)模一直處于快速增長態(tài)勢，尤其是IT技術架構市場，北美和中國是數(shù)據(jù)中心市場的主要帶動區(qū)域，而中國仍然是整個全球ICT市場增長速度最快的。

到2025年，無論是用戶產生的，還是IoT設備捕獲的數(shù)據(jù)，或者是數(shù)據(jù)中心創(chuàng)建并復制的數(shù)據(jù)，將會達到“ZB”級別（1ZB=1,073,741,824TB），與我們現(xiàn)在常接觸到的存儲容量單位TB、GB相比，是一個非常巨大的數(shù)字。我們將會邁入一個全新的數(shù)據(jù)時代。

而在這個大數(shù)據(jù)時代，如何處理海量數(shù)據(jù)就變得相當關鍵。從現(xiàn)在的趨勢來看，解決ZB級數(shù)據(jù)的存儲和處理有三種方式，分別是多云間的數(shù)據(jù)流動、數(shù)據(jù)分層與智能化。

其中根據(jù)數(shù)據(jù)的熱度分級選擇存儲介質和存儲方式是很關鍵的。在數(shù)據(jù)中心或是云服務器里面，數(shù)據(jù)分層的情況很普遍，我們上傳到云端的冷數(shù)據(jù)和熱數(shù)據(jù)的區(qū)別是非常明顯的。據(jù)IDC的數(shù)據(jù)顯示，整個數(shù)據(jù)中心的冷數(shù)據(jù)可以占到整個比例的60%-90%，這部分數(shù)據(jù)包括長期保存的數(shù)據(jù)和容量導向的介質所存儲的數(shù)據(jù)，對于存儲容量的要求是非常大的。

隨著數(shù)據(jù)規(guī)模的不斷擴大以及應用程序需要負載的工作更多樣，如何更好地存儲大量數(shù)據(jù)？如何有效管理數(shù)據(jù)爆炸的數(shù)字化時代？

在這個大背景下，數(shù)據(jù)存儲技術和架構的革新迫在眉睫。

6月12日，西部數(shù)據(jù)公司宣布推出分區(qū)存儲技術，旨在為云和超大規(guī)模數(shù)據(jù)中心架構師融合創(chuàng)新與行業(yè)標準，從而設計出高效的存儲層，幫助用戶在ZB級容量的存儲時代保持具有競爭力的總體擁有成本，實現(xiàn)更大的規(guī)模效益。

西部數(shù)據(jù)指出，82%的數(shù)據(jù)在2022年都會變?yōu)榱髅襟w數(shù)據(jù)寫入的視頻數(shù)據(jù)，通過在存儲部件中建立不同的分區(qū)，根據(jù)數(shù)據(jù)的不同類型在存儲固件中存儲、轉移和管理數(shù)據(jù)，將會提高整個存儲效能，并且作為定制化的數(shù)據(jù)基礎架構的時候，可以把控制和智能協(xié)同從原來的系統(tǒng)硬件的層面，下沉到系統(tǒng)存儲部件的層面。

針對于此，西部數(shù)據(jù)提出了基于開源技術的分區(qū)存儲的技術提案，這套新的存儲技術不僅包含了開源工具和文件系統(tǒng)支持，還包括了面向數(shù)據(jù)中心的SMR（疊瓦式磁記錄）超大容量HDD以及ZNS NVMe SSD開發(fā)平臺。

（分區(qū)存儲設備原理示意圖 來自Zonedstorage.io）

開發(fā)套件中的軟件庫囊括了最主要的開發(fā)工具、數(shù)據(jù)庫和相關的命令集庫，并且都會公布在開源社區(qū)網站Zonedstorage.io，該網站提供了軟件開發(fā)庫、工具、ZNS信息、SMR資源和參考架構等，幫助數(shù)據(jù)中心基礎架構工程師更好的利用分區(qū)存儲技術。這也是西部數(shù)據(jù)作為在NVMe聯(lián)盟持續(xù)貢獻以及長期為開源社區(qū)提供基于SMR開發(fā)工具的延伸。

打造整個分區(qū)存儲生態(tài)，顯然不單單是軟件就能解決的。除了推出ZonedStorage.io網站外，西部數(shù)據(jù)的產品套件還包括Ultrastar ZNS NVMe開發(fā)SSD和Ultrastar DC HC620 SMR HDD 15TB。Ultrastar DC HC620 15TB現(xiàn)已推出并向已通過驗收的客戶批量供貨，Ultrastar ZNS NVMe開發(fā)SSD也將向部分客戶開放。并且西部數(shù)據(jù)還透漏將在明年出貨20TB容量的SMR HDD。

預計到2022年，HDD和SSD的支出將達到IT基礎架構總支出的27%。而采用SMR技術的HDD可以做到比普通HDD更大的容量，甚至高達20%，它的容量優(yōu)勢對于數(shù)據(jù)中心降低其總擁有成本（TCO）是非常重要的。例如在一個1ZB級的超大規(guī)模數(shù)據(jù)中心，全部采用20TB的SMR HDD的話，將可以減少2500萬個硬盤、42000個60槽位機架數(shù)量，并且相應的溫控成本也會下降。

另外一點，SMR目前已經得到了生態(tài)系統(tǒng)當中廣泛的支持，包括內核的支持，SUSE已經全面支持SMR，而SMR在硬件方面需要IO控制器、HBA和拓展其產品的支持，現(xiàn)在包括HBA的廠家、ATTO、BROADCOM、MICROCHIP等等都推出了支持了SMR的產品。西部數(shù)據(jù)甚至把今年看做是SMR HDD推入部署的元年，預計在2023年，全世界將有超過50%的數(shù)據(jù)會在SMR HDD中存取。

（NVMe劃分區(qū)域中的命名空間數(shù)據(jù)放置示意圖 來自Zonedstorage.io）

西部數(shù)據(jù)還宣布針對早期分區(qū)存儲工作推出ZNS（分區(qū)命名空間）開發(fā)SSD。ZNS是NVMe標準規(guī)劃內的新特性，也是對SMR技術的補充，它讓開發(fā)人員在共同的軟件堆棧下可以不分存儲介質類型有效的調用SMR和ZNS。ZNS SSD通過將“區(qū)域”與SSD的內部物理屬性進行匹配而實現(xiàn)這些改進，有效的減少數(shù)據(jù)存放低效能的現(xiàn)象，旨在減少寫放大，增加可用容量，并提供更高的吞吐量和更低的時延。

西部數(shù)據(jù)分區(qū)存儲架構將會賦能應用層、主機和存儲互相協(xié)調數(shù)據(jù)存放位置，以充分利用在SMR HDD上可以實現(xiàn)的最大存儲容量，以及ZNS SSD上實現(xiàn)更好的耐久性和可預測的低延遲和QoS性能。

隨著生態(tài)系統(tǒng)的不斷發(fā)展和SMR的推廣，西部數(shù)據(jù)致力于在提供高容量的同時不斷演進能源輔助磁記錄技術。目前也有越來越多的云服務提供商正在投入資源管理高容量SMR HDD的主機軟件，SMR和ZNS正在從根本上重塑云和企業(yè)數(shù)據(jù)中心，將通過智能化應用架構成為當前和未來ZB級數(shù)據(jù)時代的關鍵基石，以便協(xié)助大體量客戶實現(xiàn)更好的TCO。