存儲系統(tǒng)

存儲系統(tǒng)簡介

　　存儲系統(tǒng)是指計算機中由存放程序和數(shù)據(jù)的各種存儲設(shè)備、控制部件及管理信息調(diào)度的設(shè)備（硬件）和算法（軟件）所組成的系統(tǒng)。計算機的主存儲器不能同時滿足存取速度快、存儲容量大和成本低的要求，在計算機中必須有速度由慢到快、容量由大到小的多級層次存儲器，以最優(yōu)的控制調(diào)度算法和合理的成本，構(gòu)成具有性能可接受的存儲系統(tǒng)。

　　存儲系統(tǒng)

　　存儲系統(tǒng)的性能在計算機中的地位日趨重要，主要原因是：①馮諾伊曼體系結(jié)構(gòu)是建筑在存儲程序概念的基礎(chǔ)上，訪存操作約占中央處理器（CPU）時間的70%左右。②存儲管理與組織的好壞影響到整機效率。③現(xiàn)代的信息處理，如圖像處理、數(shù)據(jù)庫、知識庫、語音識別、多媒體等對存儲系統(tǒng)的要求很高。

存儲系統(tǒng)百科

　　存儲系統(tǒng)是指計算機中由存放程序和數(shù)據(jù)的各種存儲設(shè)備、控制部件及管理信息調(diào)度的設(shè)備（硬件）和算法（軟件）所組成的系統(tǒng)。計算機的主存儲器不能同時滿足存取速度快、存儲容量大和成本低的要求，在計算機中必須有速度由慢到快、容量由大到小的多級層次存儲器，以最優(yōu)的控制調(diào)度算法和合理的成本，構(gòu)成具有性能可接受的存儲系統(tǒng)。

　　存儲系統(tǒng)

　　存儲系統(tǒng)的性能在計算機中的地位日趨重要，主要原因是：①馮諾伊曼體系結(jié)構(gòu)是建筑在存儲程序概念的基礎(chǔ)上，訪存操作約占中央處理器（CPU）時間的70%左右。②存儲管理與組織的好壞影響到整機效率。③現(xiàn)代的信息處理，如圖像處理、數(shù)據(jù)庫、知識庫、語音識別、多媒體等對存儲系統(tǒng)的要求很高。

　　存儲器的那些事

　　存儲系統(tǒng)從其與生俱來的使命來說，就難以擺脫復(fù)雜系統(tǒng)的魔咒。無論是從單機時代的文件系統(tǒng)，還是后來C/S或B/S結(jié)構(gòu)下數(shù)據(jù)庫這樣的存儲中間件興起，還是如今炙手可熱的云存儲服務(wù)來說，存儲都很復(fù)雜，而且是越來越復(fù)雜。存儲為什么會復(fù)雜，要從什么是存儲談起。存儲這個詞非常平凡，存儲 + 計算（操作）就構(gòu)成了一個樸素的計算機模型。簡單來說，存儲就是負(fù)責(zé)維持計算系統(tǒng)的狀態(tài)的單元。從維持狀態(tài)的角度，我們會有最樸素的可靠性要求。比如單機時代的文件系統(tǒng)，機器斷電、程序故障、系統(tǒng)重啟等常規(guī)的異常，文件系統(tǒng)必須可以正確地應(yīng)對，甚至對于磁盤扇區(qū)損壞，文件系統(tǒng)也需要考慮盡量將損失降到最低。對于大部分的業(yè)務(wù)程序而言，你只需要重點關(guān)注業(yè)務(wù)的正常分支流程就行，對于出乎意料的情況，通常只需拋出一個錯誤，告訴用戶你不該這么玩。但是對于存儲系統(tǒng)，你需要花費絕大部分精力在各種異常情況的處理上，甚至你應(yīng)該認(rèn)為，這些龐雜的、多樣的錯誤分支處理，才是存儲系統(tǒng)的“正常業(yè)務(wù)邏輯”。到了互聯(lián)網(wǎng)時代，有了C/S或B/S結(jié)構(gòu)，存儲系統(tǒng)又有了新指標(biāo)：可用性。為了保證服務(wù)質(zhì)量，那些用戶看不見的服務(wù)器程序必須時時保持在線，最好做到邏輯上是不宕機的（可用性100%）。服務(wù)器程序怎么才能做到高可用性？答案是存儲中間件。沒有存儲中間件，意味著所有的業(yè)務(wù)程序，都必須考慮每做一步就對狀態(tài)進(jìn)行持久化，以便自己掛掉后另一臺服務(wù)器（或者自己重啟后），知道之前工作到哪里了，接下去應(yīng)該做些什么。但是對狀態(tài)進(jìn)行持久化（也就是存儲）會非常繁瑣，如果每個業(yè)務(wù)都自己實現(xiàn)，負(fù)擔(dān)無疑非常沉重。但如果有了高可用的存儲中間件，服務(wù)器端的業(yè)務(wù)程序就只需操作存儲中間件來更新狀態(tài)，通過同時啟動多份業(yè)務(wù)程序的實例做互備和負(fù)載均衡，很容易實現(xiàn)業(yè)務(wù)邏輯上不宕機。相關(guān)廠商內(nèi)容QCon北京2018全新開啟深度學(xué)習(xí)框架演進(jìn)漫談－by老師木智能寫手——智能文本生成在雙十一的應(yīng)用深度學(xué)習(xí)在紅豆Live直播推薦系統(tǒng)中的應(yīng)用美團(tuán)騎手智能助手的技術(shù)與實踐相關(guān)贊助商

　　所以，數(shù)據(jù)庫這樣的存儲中間件出現(xiàn)基本上是歷史必然。盡管數(shù)據(jù)庫很通用，但它決不會是唯一的存儲中間件。比如業(yè)務(wù)中用到的富媒體（圖片、音視頻、Office文檔等），我們很少會去存儲到數(shù)據(jù)庫中，更多的時候我們會把它們放在文件系統(tǒng)里。但是單機時代誕生的文件系統(tǒng)，真的是最適合存儲這些富媒體數(shù)據(jù)的么？不，文件系統(tǒng)需要改變，因為：伸縮性。單機文件系統(tǒng)的第一個問題是單機容量有限，在存儲規(guī)模超過一臺機器可管理的時候，應(yīng)該怎么辦。

　　性能瓶頸。通常，單機文件系統(tǒng)在文件數(shù)目達(dá)到臨界點后，性能會快速下降。在4TB的大容量磁盤越來越普及的今天，這個臨界點相當(dāng)容易到達(dá)。

　　可靠性要求。單機文件系統(tǒng)通常只是單副本的方案，但是今天單副本的存儲早已無法滿足業(yè)務(wù)的可靠性要求。數(shù)據(jù)需要有冗余（比較經(jīng)典的做法是3副本），并且在磁盤損壞時及早修復(fù)丟失的數(shù)據(jù)，以避免所有的副本損壞造成數(shù)據(jù)丟失。

　　可用性要求。單機文件系統(tǒng)通常只是單副本的方案，在該機器宕機后，數(shù)據(jù)就不可讀取，也不可寫入。

　　在分布式存儲系統(tǒng)出現(xiàn)前，有一些基于單機文件系統(tǒng)的改良版本被一些應(yīng)用采納。比如在單機文件系統(tǒng)上加 RAID5 做數(shù)據(jù)冗余，來解決單機文件系統(tǒng)的可靠性問題。假設(shè) RAID5 的數(shù)據(jù)修復(fù)時間是1天（實際上往往做不到，尤其是業(yè)務(wù)系統(tǒng)本身壓力比較大的情況下，留給 RAID 修復(fù)用的磁盤讀寫帶寬很有限），這種方案單機的可靠性大概是100年丟失一次數(shù)據(jù)（即可靠性是2個9）?？雌饋砩锌桑康悄愕眯⌒膬煞N情況。一種是你的集群規(guī)模變大，你仍然沿用這個土方法，比如你現(xiàn)在有 100 臺這樣的機器，那么就會變成1年就丟失一次數(shù)據(jù)。另一種情況是如果實際數(shù)據(jù)修復(fù)時間是 3 天，那么單機的可靠性就直降至4年丟失一次數(shù)據(jù)，100臺就會是15天丟失一次數(shù)據(jù)。這個數(shù)字顯然無法讓人接受。Google GFS 是很多人閱讀的第一份分布式存儲的論文，這篇論文奠定了 3 副本在分布式存儲系統(tǒng)里的地位。隨后 Hadoop 參考此論文實現(xiàn)了開源版的 GFS —— HDFS。但關(guān)于 Hadoop 的 HDFS 實際上業(yè)界有不少誤區(qū)。GFS 的設(shè)計有很強的業(yè)務(wù)背景特征，本身是用來做搜索引擎的。HDFS 更適合做日志存儲和日志分析（數(shù)據(jù)挖掘），而不是存儲海量的富媒體文件。因為：HDFS 的 block 大小為 64M，如果文件不足 64M 也會占用 64M。而富媒體文件大部分仍然很小，比如圖片常規(guī)尺寸在 100K 左右。有人可能會說我可以調(diào)小 block 的尺寸來適應(yīng)，但這是不正確的做法，HDFS 的架構(gòu)是為大文件而設(shè)計的，不可能簡單通過調(diào)整 block 大小就可以滿足海量小文件存儲的需求。

　　HDFS 是單 Master 結(jié)構(gòu)，這決定了它能夠存儲的元數(shù)據(jù)條目數(shù)有限，伸縮性存在問題。當(dāng)然作為大文件日志型存儲，這個瓶頸會非常晚才遇到；但是如果作為海量小文件的存儲，這個瓶頸很快就會碰上。

　　HDFS 仍然沿用文件系統(tǒng)的 API 形式，比如它有目錄這樣的概念。在分布式系統(tǒng)中維護(hù)文件系統(tǒng)的目錄樹結(jié)構(gòu)，會遭遇諸多難題。所以 HDFS 想把 Master 擴展為分布式的元數(shù)據(jù)集群并不容易。

　　分布式存儲最容易處理的問題域還是單鍵值的存儲，也就是所謂的 Key-Value 存儲。只有一個 Key，就意味著我們可以通過對 Key 做 Hash，或者對 Key 做分區(qū)，都能夠讓請求快速定位到特定某一臺存儲機器上，從而轉(zhuǎn)化為單機問題。這也是為什么在數(shù)據(jù)庫之后，會冒出來那么多 NoSQL 數(shù)據(jù)庫。因為數(shù)據(jù)庫和文件系統(tǒng)一樣，最早都是單機的，在伸縮性、性能瓶頸（在單機數(shù)據(jù)量太大時）、可靠性、可用性上遇到了相同的麻煩。NoSQL 數(shù)據(jù)庫的名字其實并不恰當(dāng)，他們更多的不是去 SQL，而是去關(guān)系（我們知道數(shù)據(jù)庫更完整的稱呼是關(guān)系型數(shù)據(jù)庫）。有關(guān)系意味著有多個索引，也就是有多個 Key，而這對數(shù)據(jù)庫轉(zhuǎn)為分布式存儲系統(tǒng)來說非常不利。七牛云存儲的設(shè)計目標(biāo)是針對海量小文件的存儲，所以它對文件系統(tǒng)的第一個改變也是去關(guān)系，也就是去目錄結(jié)構(gòu)（有目錄意味著有父子關(guān)系）。所以七牛云存儲不是文件系統(tǒng)（File System），而是鍵值存儲（Key-Value Storage），用時髦點的話說是對象存儲（Object Storage）。不過七牛自己喜歡把它叫做資源存儲（Resource Storage），因為它是用來存儲靜態(tài)資源文件的。蠻多七牛云存儲的新手會問，為什么我在七牛的 API 中找不到創(chuàng)建目錄這樣的 API，根本原因還是受文件系統(tǒng)這個經(jīng)典存儲系統(tǒng)的影響。七牛云存儲的第一個實現(xiàn)版本，從技術(shù)上來說是經(jīng)典的 3 副本的鍵值存儲。它由元數(shù)據(jù)集群和數(shù)據(jù)塊集群組成。每個文件被切成了 4M 為單位的一個個數(shù)據(jù)塊，各個數(shù)據(jù)塊按 3 副本做冗余。但是作為云存儲，它并不僅僅是一個分布式存儲集群，它需要額外考慮：網(wǎng)絡(luò)問題，也就是文件的上傳下載問題。文件上傳方面，我們得考慮在相對比較差的網(wǎng)絡(luò)條件下（比如2G/3G網(wǎng)絡(luò)）如何確保文件能夠上傳成功，大文件（七牛云存儲的單文件大小理論極限是1TB）如何能夠上傳成功，如何能夠更快上傳。文件下載加速方面，考慮到 CDN 已經(jīng)發(fā)展了 10 多年的歷史，非常成熟，我們決定基于 CDN 來做下載加速。

　　數(shù)據(jù)處理。當(dāng)用戶文件托管到了七牛，那么針對文件內(nèi)容的數(shù)據(jù)處理需求也會自然衍生。比如我們第一個客戶就給我們提了圖片縮略圖相關(guān)的需求。在音視頻內(nèi)容越來越多的時候，自然就有了音視頻轉(zhuǎn)碼的需求?？梢灶A(yù)見在Office文檔多了后，也就會有 Office 文檔轉(zhuǎn)換的需求。

　　所以從技術(shù)上來說，七牛云存儲是這樣的：七牛云存儲 = 分布式存儲集群 + 上傳加速網(wǎng)絡(luò)（下載外包給CDN） + 數(shù)據(jù)處理集群網(wǎng)絡(luò)問題并不是七牛要解決的核心問題，只是我們要面對的現(xiàn)實困難。所以在這個問題上如果能夠有足夠?qū)I(yè)的供應(yīng)商，能夠外包我們會盡可能外包。而分布式存儲集群的演進(jìn)和優(yōu)化，才是我們最核心的事情。早在 2012 年 2 月，我們就啟動了新一代基于糾刪碼算術(shù)冗余的存儲系統(tǒng)的研發(fā)。新存儲系統(tǒng)的關(guān)注焦點在：成本。經(jīng)典的 3 副本存儲系統(tǒng)雖然經(jīng)典，但是代價也是高昂的，需要我們投入 3 倍的存儲成本。那么有沒有保證高可靠和高可用的前提下把成本做下來？

　　可靠性。如何進(jìn)一步提升存儲系統(tǒng)的可靠性？答案是更高的容錯能力（從允許同時損壞2塊盤到允許同時損壞4塊盤），更快的修復(fù)速度（從原先3小時修復(fù)一塊壞盤到30分鐘修復(fù)一塊壞盤）。

　　伸縮性。如何從系統(tǒng)設(shè)計容量、IO吞吐能力、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)等角度，讓系統(tǒng)能夠支持EB級別的數(shù)據(jù)存儲規(guī)模？關(guān)于伸縮性這個話題，涉及的點是全方位的，本文不展開討論，后面我們另外獨立探討這個話題（讓我們把焦點放在成本和可靠性上）。

　　在經(jīng)過了四個大的版本迭代，七牛新一代云存儲（v2）終于上線。新存儲的第一大亮點是引入了糾刪碼（EC）這樣的算術(shù)冗余方案，而不再是經(jīng)典的 3 副本冗余方案。我們的 EC 采用的是 28 + 4，也就是把文件切分為 28 份，然后再根據(jù)這 28 份數(shù)據(jù)計算出 4 份冗余數(shù)據(jù)，最后把這 32 份數(shù)據(jù)存儲在 32 臺不同的機器上。這樣做的好處是既便宜，又提升了可靠性和可用性。從成本角度，同樣是要存儲 1PB 的數(shù)據(jù)，要買的存儲服務(wù)器只需 3 副本存儲的 36.5%，經(jīng)濟(jì)效益相當(dāng)好。從可靠性方面，以前 3 副本只能允許同時損壞2塊盤，現(xiàn)在能夠允許同時損壞4塊盤，直觀來說這大大改善了可靠性（后面討論可靠性的時候我們給出具體的數(shù)據(jù)）。從可用性角度，以前能夠接受 2 臺服務(wù)器下線，現(xiàn)在能夠同時允許 4 臺服務(wù)器下線。新存儲的第二大亮點是修復(fù)速度，我們把單盤修復(fù)時間從 3 小時提升到了 30 分鐘以內(nèi)。修復(fù)時間同樣對提升可靠性有著重要意義（后面討論可靠性的時候我們給出具體的數(shù)據(jù)）。這個原因是比較容易理解的。假設(shè)我們的存儲允許同時壞 M 塊盤而不丟失數(shù)據(jù)，那么集群可靠性，就是看在單位修復(fù)時間內(nèi)，同時損壞 M+1 塊盤的概率。例如，假設(shè)我們修復(fù)時間是 3 小時，那么 3 副本集群的可靠性就是看 3 小時內(nèi)同時損壞 3 塊盤的概率（也就是丟數(shù)據(jù)的概率）。讓我們回到存儲系統(tǒng)最核心的指標(biāo) —— 可靠性。首先，可靠性和集群規(guī)模是相關(guān)的。假設(shè)我們有 1000 塊磁盤的集群，對于 3 副本存儲系統(tǒng)來說，這 1000 塊盤同時壞 3 塊就會發(fā)生數(shù)據(jù)丟失，這個概率顯然比 3 塊盤同時壞 3 塊要高很多?；谶@一點，有些人會想這樣的土方法：那我要不把集群分為 3 塊磁盤一組互為鏡像，1000 塊盤就是 333 組（不好意思多了1塊，我們忽略這個細(xì)節(jié)），是不是可以提升可靠性？這些同學(xué)忽略了這樣一些關(guān)鍵點：3 塊盤同時壞 3 塊盤（從而丟失數(shù)據(jù)）的概率為 p，那么 333 組這樣的集群，丟失數(shù)據(jù)的概率是 1-（1-p）^333 ≈ p * 333，而不是 p。

　　互為鏡像的麻煩之處是修復(fù)速度存在瓶頸。壞一塊盤后你需要找一個新盤進(jìn)行數(shù)據(jù)對拷，而一塊大容量磁盤數(shù)據(jù)對拷的典型時間是 15 小時（我們后面將給出 15 小時同時壞 3 塊盤的概率）。要想提升這個修復(fù)速度，第一步我們就需要打破鏡像帶來的束縛。

　　如果一個存儲系統(tǒng)的修復(fù)時間是恒定的，那么這個存儲集群在規(guī)模擴大的時候，必然伴隨著可靠性的降低。所以最理想的情況是集群越大，修復(fù)速度越快。這樣才能抵消因集群增大導(dǎo)致壞盤概率增加帶來負(fù)面影響。計算表明，如果我們修復(fù)速度和集群規(guī)模成正比（線性關(guān)系），那么集群隨著規(guī)模增大，可靠性會越來越高。下表列出了1000塊硬盤的存儲集群在不同存儲方案、不同修復(fù)時間下的可靠性計算結(jié)果：副本存儲方案容錯度（M）修復(fù)時間數(shù)據(jù)丟失概率（P）可靠性

　　3副本方案230分鐘1.00E-088個9

　　3小時1.00E-055個9

　　15小時1.00E-022個9

　　28+4算術(shù)冗余方案430分鐘1.00E-1616個9

　　3小時1.00E-1111個9

　　15小時1.00E-077個9

　　對于數(shù)據(jù)丟失概率具體的計算公式和計算方法，由于篇幅所限，本文中不做展開，我會另找機會討論。對我個人而言，七牛新一代云存儲（v2）的完成，了了我多年的夙愿。但七牛不會就此停止腳步。我們在存儲系統(tǒng)上又有了一些好玩的想法。從長遠(yuǎn)來說，單位存儲的成本會越來越廉價（硬件和軟件系統(tǒng)都會推動這個發(fā)展趨勢）。而存儲系統(tǒng)肯定會越來越復(fù)雜。例如，有賴于超高的容錯能力，七牛對單塊磁盤的可靠性要求降低了很多，這就為未來我們采用桌面硬盤而不是企業(yè)硬盤作為存儲介質(zhì)打下基礎(chǔ)。但是單塊磁盤可靠性的降低，則會進(jìn)一步推動存儲系統(tǒng)往復(fù)雜的方向發(fā)展?；谶@個推理，我認(rèn)為存儲必然需要轉(zhuǎn)為云服務(wù)，成為水電煤一樣的基礎(chǔ)設(shè)施。存儲系統(tǒng)越來越復(fù)雜，越來越專業(yè)，這就導(dǎo)致自建存儲的難度和成本越來越高，自建存儲的必要性也越來越低。必然有那么一天，你會發(fā)現(xiàn)云存儲的成本遠(yuǎn)低于自建存儲的成本，到時自建存儲就會是純投入而無產(chǎn)出，也就沒有多少人會去熱衷于干這樣的事情了。