容器定義存儲(chǔ)(CDS)—存儲(chǔ)技術(shù)的“瘦身”革命

容器技術(shù)是最快被數(shù)據(jù)中心所廣泛接受和采用的技術(shù)之一，從2013年起，據(jù)統(tǒng)計(jì)Docker的下載量已經(jīng)快達(dá)到30億次，容器已經(jīng)徹底改變了應(yīng)用部署方式，但是IT基礎(chǔ)設(shè)施的管理卻沒(méi)有及時(shí)跟上。

今天我們就談?wù)勅萜骷夹g(shù)在存儲(chǔ)中的應(yīng)用，除了EMC Unity統(tǒng)一存儲(chǔ)采用容器實(shí)現(xiàn)NAS、復(fù)制等增值特性之外，目前已經(jīng)有初創(chuàng)存儲(chǔ)廠商推出容器定義存儲(chǔ)（CDS）產(chǎn)品，由于內(nèi)容太長(zhǎng)，所以打算分上下兩期來(lái)講。第一講主要介紹容器如何改變應(yīng)用部署方式、為什么要通過(guò)CDS實(shí)現(xiàn)數(shù)據(jù)中心“輕量化”。下一講將介紹一個(gè)CDS產(chǎn)品和公司（Portworx），希望分享的一些觀點(diǎn)和趨勢(shì)能對(duì)我們國(guó)產(chǎn)存儲(chǔ)的發(fā)展帶來(lái)一些啟示。Portworx是一家美國(guó)存儲(chǔ)初創(chuàng)公司，它研發(fā)了業(yè)界第一個(gè)容器定義存儲(chǔ)系統(tǒng)，基于容器構(gòu)建，采用容器控制面和數(shù)據(jù)面實(shí)現(xiàn)，致力于為應(yīng)用容器提供企業(yè)級(jí)特性、完全媲美裸金屬性能的存儲(chǔ)系統(tǒng)。

目前SDS和SBS存儲(chǔ)產(chǎn)品，使得我們很容易從喜歡的商業(yè)服務(wù)器獲取存儲(chǔ)容量和服務(wù)，硬件節(jié)點(diǎn)可以同時(shí)提供計(jì)算資源和存儲(chǔ)資源（融合架構(gòu)），融合了計(jì)算和存儲(chǔ)能力。但這些存儲(chǔ)方案缺少一個(gè)全新設(shè)計(jì)的軟件架構(gòu)，用來(lái)部署應(yīng)用軟件和容器，充分利用服務(wù)器計(jì)算的商品化和微服務(wù)化趨勢(shì)。

就拿傳統(tǒng)專業(yè)存儲(chǔ)為例，管理和運(yùn)維需要非常專業(yè)的技能，需要了解FC，SAN交換機(jī)，iSCSI，NFS和CIFS，F(xiàn)CoE等專業(yè)知識(shí)，如果你想得到企業(yè)級(jí)存儲(chǔ)服務(wù)，就必須了解專業(yè)存儲(chǔ)每個(gè)技術(shù)和配置細(xì)節(jié)。

看了這張圖片，這一切顯得的多么復(fù)雜和古老。如果你想建立一個(gè)敏捷的數(shù)據(jù)存儲(chǔ)，這或許不是你想看到的畫面?；叵胍幌?，今天我們是否可以在一個(gè)2U外形類似服務(wù)器上部署類似存儲(chǔ)系統(tǒng)。谷歌、Facebook和其他大型數(shù)據(jù)中心作為現(xiàn)代數(shù)據(jù)中心架構(gòu)的領(lǐng)頭羊，已經(jīng)有團(tuán)隊(duì)用專業(yè)的技能來(lái)建立一個(gè)分布式的容錯(cuò)存儲(chǔ)系統(tǒng)，利用x86架構(gòu)的計(jì)算和存儲(chǔ)。我們看到的只是一堆物理基礎(chǔ)設(shè)施，通過(guò)Scale out x86服務(wù)器提供非常易用的存儲(chǔ)服務(wù)。

隨著現(xiàn)代數(shù)據(jù)中心的發(fā)展，新的應(yīng)用形態(tài)（Cloud-native、DevOps、Micro Service等）都要求基于云平臺(tái)構(gòu)建（Cloud-native），這對(duì)存儲(chǔ)體系結(jié)構(gòu)又有了新的要求，這些要求主要體現(xiàn)在以下幾個(gè)方面。

面向服務(wù)的存儲(chǔ)配置： 過(guò)去基于一個(gè)物理服務(wù)器或虛擬機(jī)配置存儲(chǔ)卷的技術(shù)、依賴于FCoE、iSCSI等協(xié)議的技術(shù)已經(jīng)落后了。

卷服務(wù)粒度更細(xì)、數(shù)量更多： 在最現(xiàn)代化的服務(wù)模型中，如NoSQL和消息隊(duì)列，通常被設(shè)計(jì)成大規(guī)模擴(kuò)展方式。他們部署時(shí)需要存儲(chǔ)支持更多卷數(shù)量、更小的卷容量。而不像過(guò)去，一個(gè)計(jì)算節(jié)點(diǎn)通常映射一個(gè)大容量卷來(lái)提供數(shù)據(jù)庫(kù)等應(yīng)用。

存儲(chǔ)本地多層化： 目前服務(wù)器至少有兩個(gè)存儲(chǔ)層級(jí)。基于全球客戶服務(wù)器采購(gòu)的實(shí)際情況來(lái)看，數(shù)據(jù)中心的服務(wù)器來(lái)自不同的供應(yīng)商的多種服務(wù)器，不同服務(wù)器具有不同的內(nèi)部容量層?？蛻粝Ｍ碌拇鎯?chǔ)結(jié)構(gòu)來(lái)理解這些變化和不同，并能自動(dòng)利用不同存儲(chǔ)提供存儲(chǔ)服務(wù)。

存儲(chǔ)超融合化： 新服務(wù)架構(gòu)要求數(shù)據(jù)計(jì)算和存儲(chǔ)融合。以Hadoop為例，在計(jì)算是派遣到服務(wù)節(jié)點(diǎn)上運(yùn)行的主機(jī)數(shù)據(jù)。

多服務(wù)顆粒存儲(chǔ)操作： 新型應(yīng)用程序不是單一的堆棧。而是通過(guò)部署在多個(gè)節(jié)點(diǎn)上的分布式模塊進(jìn)行業(yè)務(wù)交互組成。企業(yè)存儲(chǔ)的操作，如快照、檢查點(diǎn)還原、復(fù)制、配額等，需要提供服務(wù)堆棧級(jí)別上的支持。所以，我們的存儲(chǔ)系統(tǒng)需要能意識(shí)到一組分布式x86服務(wù)器通過(guò)以太網(wǎng)織物綁在一起。

在數(shù)據(jù)中心中，硬件結(jié)構(gòu)的現(xiàn)狀一般是，來(lái)自不同供應(yīng)商的服務(wù)器各自為政，不同存儲(chǔ)容量和不同類型的服務(wù)器并存，Top of Rack交換機(jī)的能力也不同，而運(yùn)行其上的軟件是以一個(gè)更高的粒度，通過(guò)松耦的一組容器化服務(wù)運(yùn)行在不同節(jié)點(diǎn)上。那么，我們?cè)撊绾螖U(kuò)展存儲(chǔ)層來(lái)與大量相對(duì)較薄的服務(wù)一起工作呢，當(dāng)然，常用的做法就是將堆棧拆分成獨(dú)立的數(shù)據(jù)可用區(qū)和計(jì)算區(qū)，根據(jù)不同SAL的應(yīng)用需求匹配相應(yīng)的存儲(chǔ)資源。

實(shí)質(zhì)上，上圖就是一個(gè)容器感知存儲(chǔ)架構(gòu)，該架構(gòu)要實(shí)現(xiàn)如何根據(jù)存儲(chǔ)需求將數(shù)據(jù)放置在容器的位置區(qū)。這種架構(gòu)可以支撐一個(gè)更大的容器計(jì)算集群，同時(shí)可以保持存儲(chǔ)的性能和時(shí)延要求。

面對(duì)更細(xì)粒度的、自恢復(fù)和可發(fā)現(xiàn)的面向服務(wù)的應(yīng)用架構(gòu)，存儲(chǔ)也不應(yīng)該有任何核心的集中元數(shù)據(jù)服務(wù)器，元數(shù)據(jù)應(yīng)該分布式存放和去中心化存放，并通過(guò)負(fù)載均衡等算法或檢測(cè)協(xié)議（Gossip Protocol）實(shí)現(xiàn)高效的故障自愈系統(tǒng)和高可靠系統(tǒng)。

Gossip Protocol的通信方式類似流言傳播，每個(gè)節(jié)點(diǎn)狀態(tài)的變化和更新，立即通過(guò)一傳十，十傳百的方式在集群內(nèi)廣播，而不是由某幾個(gè)節(jié)點(diǎn)逐一傳遞，所以通信效率非常高效。

為了讓存儲(chǔ)能感知容器，存儲(chǔ)調(diào)度也需和容器引擎集成，隨著應(yīng)用軟件向更為面向服務(wù)的體系結(jié)構(gòu)演進(jìn)，應(yīng)用軟件的業(yè)務(wù)流程和調(diào)度也發(fā)生了變化。我們不再需要手動(dòng)管理進(jìn)程，而是自動(dòng)實(shí)現(xiàn)軟件的啟動(dòng)、停止和生命周期管理，對(duì)軟件的運(yùn)行和SLA需求也要實(shí)現(xiàn)自動(dòng)化。這就要現(xiàn)代流行的調(diào)度器來(lái)完成，如Mesosphere，Kubernetes，Swarm，Spark等。

新的應(yīng)用架構(gòu)都是深度集成這些容器調(diào)度器，DevOps開(kāi)發(fā)團(tuán)隊(duì)的工作也是基于容器調(diào)度器和編排工具進(jìn)行，所以，對(duì)軟件定義存儲(chǔ)，容器定義存儲(chǔ)等基層設(shè)施層來(lái)說(shuō)，就可以直接跟這些調(diào)度或業(yè)務(wù)編排層實(shí)現(xiàn)集成。這對(duì)數(shù)據(jù)中心實(shí)現(xiàn)“輕量化”來(lái)說(shuō)，也變得比較迫切。

容器在單個(gè)操作系統(tǒng)運(yùn)行多個(gè)應(yīng)用，由于它的輕量特性也給應(yīng)用部署帶來(lái)很多優(yōu)勢(shì)，如占用資源少、啟動(dòng)快、容易部署等，其高效率也意味著數(shù)據(jù)中心需要較少的硬件和物理空間開(kāi)銷，Docker也是因?yàn)殚_(kāi)源和強(qiáng)大生態(tài)而被全球范圍內(nèi)的企業(yè)擁抱。但是容器的應(yīng)用還是局限在公有云、網(wǎng)站、無(wú)狀態(tài)的應(yīng)用，還沒(méi)有大規(guī)模進(jìn)入到數(shù)據(jù)中心主要業(yè)務(wù)。一個(gè)主要原因是現(xiàn)有容器是基于無(wú)狀態(tài)業(yè)務(wù)進(jìn)行優(yōu)化，到目前為止，還沒(méi)有健壯和易管理的方法存放有狀態(tài)的數(shù)據(jù)，這也跟容器每次訪問(wèn)完后就終止進(jìn)程的架構(gòu)有關(guān)。

分布式擴(kuò)展存儲(chǔ)架構(gòu)在設(shè)計(jì)時(shí)，就需要考慮如何以面向服務(wù)的數(shù)據(jù)中心提供不同的存儲(chǔ)類型。 面對(duì)服務(wù)訪問(wèn)所需的多進(jìn)程、多volume、高吞吐量等訴求時(shí)，存儲(chǔ)需要從許多運(yùn)行在不同機(jī)器的節(jié)點(diǎn)，提供一致的存儲(chǔ)服務(wù)訪問(wèn)。有時(shí)這些容器甚至運(yùn)行在云上或其他數(shù)據(jù)中心。面向服務(wù)的應(yīng)用類型包括了：

無(wú)狀態(tài)服務(wù)： 這些通常是短暫的計(jì)算作業(yè)，他們依靠一些其他狀態(tài)的服務(wù)實(shí)現(xiàn)具體業(yè)務(wù)。

狀態(tài)數(shù)據(jù)庫(kù)服務(wù)： 這些通常需要塊存儲(chǔ)或非共享存儲(chǔ)訪問(wèn)。

有狀態(tài)的服務(wù)需要的文件或?qū)ο笤L問(wèn)： 常見(jiàn)的有全局文件或?qū)ο蟮拿臻g。

然而，在云計(jì)算高度發(fā)展今天，新型應(yīng)用基本上基于Docker等云基礎(chǔ)設(shè)施構(gòu)建的Cloud-native應(yīng)用，而不是從傳統(tǒng)物理設(shè)施上遷移到云平臺(tái)的Cloud-based業(yè)務(wù)。Cloud-native大多采用Micro Service或容器部署，就要求與之相匹配的存儲(chǔ)提供存儲(chǔ)服務(wù)。

為了推進(jìn)“輕量級(jí)”下一代數(shù)據(jù)中心架構(gòu)，并充分利用容器技術(shù)的特點(diǎn)，數(shù)據(jù)中心也在面臨一場(chǎng)變革，需要替換原來(lái)臃腫的架構(gòu)和基礎(chǔ)設(shè)施，采用容器架構(gòu)和容器存儲(chǔ)技術(shù)來(lái)支持業(yè)務(wù)系統(tǒng)。今天就介紹到這里，下篇我們重點(diǎn)介紹基于容器Portworx存儲(chǔ)、一個(gè)基于數(shù)據(jù)和控制面的容器定義存儲(chǔ)技術(shù)和產(chǎn)品。