青云致力下一代文件存儲(chǔ)的產(chǎn)品和戰(zhàn)略，持續(xù)發(fā)力企業(yè)級(jí)市場(chǎng)

在7月27日舉辦的Cloud Insight Conference 2018云計(jì)算峰會(huì)上，青云QingCloud推出一系列新產(chǎn)品和新功能，涵蓋云平臺(tái)、超融合、軟件定義存儲(chǔ)、容器、統(tǒng)一云管、云應(yīng)用管理、基礎(chǔ)設(shè)施與骨干網(wǎng)等，完善企業(yè)級(jí)云模式ICT產(chǎn)品線布局，持續(xù)發(fā)力企業(yè)級(jí)市場(chǎng)。青云QingCloud 存儲(chǔ)高級(jí)技術(shù)專家寧安接受記者采訪，分享了青云QingCloud致力于下一代文件存儲(chǔ)的產(chǎn)品和戰(zhàn)略。

隨著IT技術(shù)的發(fā)展，企業(yè)數(shù)據(jù)正以爆炸式速度增長(zhǎng)。從企業(yè)的信息化系統(tǒng)、移動(dòng)互聯(lián)應(yīng)用、再到物聯(lián)網(wǎng)的大勢(shì)所趨，數(shù)據(jù)已經(jīng)成為企業(yè)發(fā)展至關(guān)重要的生產(chǎn)要素。

一方面，數(shù)據(jù)海洋使得企業(yè)對(duì)于大數(shù)據(jù)的存儲(chǔ)和分析需求增多，IT面臨著越來(lái)越多的挑戰(zhàn)；另一方面，軟件定義存儲(chǔ)（SDS）正在成為未來(lái)存儲(chǔ)的主流方向，越來(lái)越多的存儲(chǔ)解決方案在涌現(xiàn)，為企業(yè)用戶有效解決數(shù)據(jù)存儲(chǔ)、遷移、管理和保護(hù)。

根據(jù)IDC與Wikibon預(yù)測(cè)，中國(guó)未來(lái)幾年的SDS市場(chǎng)年均增長(zhǎng)率將達(dá)31．55％，2021年規(guī)模將達(dá)8．6億美金。Gartner 2017年對(duì)中國(guó)SDS市場(chǎng)分析中指出，越來(lái)越多的非結(jié)構(gòu)化數(shù)據(jù)正存放在由軟件定義存儲(chǔ)管理的低成本存儲(chǔ)設(shè)備上，這其中，文件存儲(chǔ)在當(dāng)前市場(chǎng)需求中占據(jù)64．7％的主流份額，遠(yuǎn)高于塊存儲(chǔ)25％和對(duì)象存儲(chǔ)10．3％的占比。

企業(yè)級(jí)文件存儲(chǔ)發(fā)展趨勢(shì)

企業(yè)級(jí)文件存儲(chǔ)的應(yīng)用場(chǎng)景非常廣泛，不管是金融、制造、傳媒娛樂(lè)、廣電等諸多行業(yè)，都需要文件存儲(chǔ)應(yīng)用。特別是對(duì)于制造業(yè)而言，海量終端設(shè)備帶來(lái)數(shù)據(jù)量的大幅增加，對(duì)于存儲(chǔ)的需求也隨之增長(zhǎng)。

與此同時(shí)，文檔內(nèi)容管理目標(biāo)也正在產(chǎn)生改變。一方面，企業(yè)產(chǎn)生的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，信息資源爆炸式激增；另一方面，越來(lái)越多的非結(jié)構(gòu)化數(shù)據(jù)正在誕生，IDC有報(bào)告指出，80％的企業(yè)數(shù)據(jù)將為非結(jié)構(gòu)化數(shù)據(jù)。這意味著傳統(tǒng)的信息資源管理技術(shù)已經(jīng)無(wú)法應(yīng)對(duì)大數(shù)據(jù)時(shí)代的挑戰(zhàn)。

縱觀企業(yè)級(jí)文件存儲(chǔ)的發(fā)展趨勢(shì)，2000年以前，主流的存儲(chǔ)方案是采用傳統(tǒng)的NAS硬件存儲(chǔ)方案。這一時(shí)期，硬件控制器決定了存儲(chǔ)系統(tǒng)的性能上限和容量上限，其資源難以被多系統(tǒng)共享，擴(kuò)展性差、成本高。對(duì)于大多數(shù)企業(yè)而言，內(nèi)部文件存儲(chǔ)往往采用公司自己架設(shè)或者購(gòu)買的服務(wù)器來(lái)作為存儲(chǔ)介質(zhì)。這種方式不僅成本較高，就安全性而言，也存在不少弊端。

2000年以后逐漸出現(xiàn)了分布式文件系統(tǒng)，主要分為兩種架構(gòu)：一種是以Hadoop HDFS和LusterFS為代表的集中式索引架構(gòu)，這種架構(gòu)的文件數(shù)量會(huì)受到單節(jié)點(diǎn)和索引節(jié)點(diǎn)容量限制；第二種是全對(duì)等Hash架構(gòu)，完全拋棄單獨(dú)的索引節(jié)點(diǎn)，其代表是GLuster和Ceph，這種架構(gòu)的弊端在于擴(kuò)展擴(kuò)容不方便，一致性較差。

未來(lái)，是否將誕生下一代文件存儲(chǔ)？下一代文件存儲(chǔ)需要具備哪些特征？青云QingCloud 存儲(chǔ)高級(jí)技術(shù)專家寧安接受e－works記者采訪時(shí)指出，“未來(lái)的文件存儲(chǔ)至少需要滿足四大特性：首先，全面支持云應(yīng)用，無(wú)縫兼容傳統(tǒng)應(yīng)用；第二，按需使用，彈性擴(kuò)容；第三，智能管理與運(yùn)維，避免人工運(yùn)維帶來(lái)的很多成本問(wèn)題；第四，實(shí)現(xiàn)高可用，保證7＊24小時(shí)可用?！?/p>

Ceph架構(gòu)下文件存儲(chǔ)的優(yōu)劣

在寧安看來(lái)，盡管Ceph是呼聲很高的開(kāi)源分布式的SDS產(chǎn)品存儲(chǔ)系統(tǒng)，同時(shí)提供對(duì)象存儲(chǔ)、塊存儲(chǔ)和文件存儲(chǔ)三種功能，但仍存在著一定的短板和局限。

客觀來(lái)看，Ceph架構(gòu)的優(yōu)勢(shì)在于其擴(kuò)展性，它的性能會(huì)隨著磁盤數(shù)量線性增長(zhǎng)，能夠降低硬件成本和運(yùn)維成本，但它的復(fù)雜性會(huì)帶來(lái)較高的學(xué)習(xí)成本。
寧安在采訪中介紹，如果用Ceph架構(gòu)文件存儲(chǔ)功能，通常會(huì)有三種方案：

其一，采用CephFS接口，當(dāng)前仍是不穩(wěn)定狀態(tài)，不適合生產(chǎn)部署。此外，它的元數(shù)據(jù)服務(wù)是單點(diǎn)的，因此無(wú)法分布式部署；

第二種采用Ceph的塊存儲(chǔ)接口，通過(guò)塊設(shè)備掛載到一個(gè)機(jī)器上，格式化本地文件系統(tǒng)，再對(duì)文件系統(tǒng)做NFS服務(wù)來(lái)暴露數(shù)據(jù)。這種方法的問(wèn)題在于它只有一個(gè)單點(diǎn)，因?yàn)楸镜叵到y(tǒng)的限制，無(wú)法同時(shí)掛載兩個(gè)，所以無(wú)法負(fù)載均衡；

第三種基于Ceph的對(duì)象存儲(chǔ)接口＋FUSE的掛載來(lái)轉(zhuǎn)化協(xié)議。這種方法的問(wèn)題在于性能比較差，因?yàn)橛袇f(xié)議轉(zhuǎn)換的損耗，而且這是對(duì)象存儲(chǔ)接口，限制不能隨機(jī)修改。

由此也帶來(lái)Ceph架構(gòu)四個(gè)方面的問(wèn)題：

首先是數(shù)據(jù)一致性問(wèn)題。因?yàn)槎喾軭ash在不同客戶端有不同的狀態(tài)，難以維持各個(gè)客戶端狀態(tài)一致，而Ceph架構(gòu)的主要特點(diǎn)在于依賴客戶端Hash實(shí)現(xiàn)數(shù)據(jù)定位，所以Ceph架構(gòu)存在數(shù)據(jù)一致性問(wèn)題；

其次是高可用問(wèn)題，節(jié)點(diǎn)恢復(fù)和無(wú)法遷移時(shí)，需要改變Hash區(qū)間分布，一邊改變一邊遷移就會(huì)影響數(shù)據(jù)一致性訪問(wèn)。為了闡述Ceph存在的高可用缺陷，寧安舉了一個(gè)真實(shí)案例：某大型企業(yè)有40多個(gè)節(jié)點(diǎn)的Ceph集群，某天兩塊硬盤同時(shí)出現(xiàn)故障，由于這兩塊壞硬盤的數(shù)據(jù)遷移恢復(fù)了10小時(shí)，過(guò)程中有部分?jǐn)?shù)據(jù)是不能訪問(wèn)的；

第三是Ceph擴(kuò)展性問(wèn)題，這也是由Hash引發(fā)的問(wèn)題。其擴(kuò)容時(shí)每次只能增加一臺(tái)，假如增加兩臺(tái)，Hash會(huì)受到損壞。擴(kuò)容時(shí)只能等一臺(tái)數(shù)據(jù)遷移完畢后，才能增加下一臺(tái)。所以無(wú)法對(duì)它進(jìn)行緊急擴(kuò)容，只能一點(diǎn)點(diǎn)去做。

第四運(yùn)維復(fù)雜，企業(yè)需要投入大量的人力、物力成本，甚至需要招聘特別懂Ceph的工程師。

青云QingCloud面向下一代的文件存儲(chǔ)

為了順應(yīng)下一代文件存儲(chǔ)四大特征，QingStor文件存儲(chǔ)提出了三大創(chuàng)新架構(gòu)：

首先，基于分布式塊存儲(chǔ)NeonSAN。它是具有高性能、強(qiáng)一致的塊存儲(chǔ)，沒(méi)有本地文件系統(tǒng)在里面，涵蓋分布式網(wǎng)關(guān)和NeonSAN兩類節(jié)點(diǎn)；

第二，無(wú)限水平擴(kuò)展。通過(guò)目錄和文件分離存儲(chǔ)的架構(gòu)，元數(shù)據(jù)層存儲(chǔ)所有索引目錄，可以定位文件具體位置。還有一個(gè)組件是控制層，負(fù)責(zé)下層塊設(shè)備的空間分配和事務(wù)管理；

第三，并行處理架構(gòu)。所有的網(wǎng)關(guān)節(jié)點(diǎn)和NeonSAN節(jié)點(diǎn)是全互聯(lián)的關(guān)系，每個(gè)節(jié)點(diǎn)之間都可以相互訪問(wèn)，且是通過(guò)最短路徑。集群內(nèi)數(shù)據(jù)復(fù)制與業(yè)務(wù)訪問(wèn)分離，分別通過(guò)不同的網(wǎng)絡(luò)，因此在數(shù)據(jù)遷移和擴(kuò)容時(shí)，不會(huì)對(duì)業(yè)務(wù)有任何影響。

寧安說(shuō)，“基于QingStor文件存儲(chǔ)的三大創(chuàng)新架構(gòu)，QingStor文件存儲(chǔ)的企業(yè)級(jí)特性可以做到安全可靠、強(qiáng)一致、高可用，并且具有超高性能、彈性可調(diào)，同時(shí)對(duì)成本做出了優(yōu)化?！?br /> 除此之外，青云QingCloud面向下一代的QingStor文件存儲(chǔ)還具備部署靈活和可視化管理的特性。

在部署環(huán)節(jié)，QingStor文件存儲(chǔ)可以支持最小規(guī)模3節(jié)點(diǎn)的存儲(chǔ)網(wǎng)關(guān)部署，與3節(jié)點(diǎn)塊存儲(chǔ)部署；對(duì)于網(wǎng)絡(luò)，也沒(méi)有特別要求，企業(yè)能夠利用現(xiàn)有的交換機(jī)去部署TCP／IP網(wǎng)絡(luò)，內(nèi)部數(shù)據(jù)通信通過(guò)基于以太網(wǎng)的RDMA （RoCE），做到低延遲的數(shù)據(jù)復(fù)制；另外，企業(yè)可選的存儲(chǔ)介質(zhì)包括全閃存、在SATA基礎(chǔ)上做SSD緩存加速，以及純SATA。

為了更好地進(jìn)行文件存儲(chǔ)管理，QingStor開(kāi)發(fā)了可視化管理的Portal，QingStor文件存儲(chǔ)可以在Portal上，對(duì)于系統(tǒng)資源池進(jìn)行管理，也能對(duì)于上層文件系統(tǒng)空間做管理，對(duì)于整個(gè)系統(tǒng)的運(yùn)行狀態(tài)和告警可以一覽無(wú)余。

據(jù)了解，面向下一代的QingStor文件存儲(chǔ)是青云QingCloud三款存儲(chǔ)產(chǎn)品之一，另外還包括塊存儲(chǔ)方案NeonSAN，以塊驅(qū)動(dòng)的方式來(lái)暴露訪問(wèn)結(jié)果，適用于數(shù)據(jù)庫(kù)和虛擬化場(chǎng)景；以及對(duì)象存儲(chǔ)方案，能夠存儲(chǔ)海量的非結(jié)構(gòu)化數(shù)據(jù)，是以HTTP API的方式暴露結(jié)果，主要面向新型web應(yīng)用。