云存儲(chǔ)的“云”的大小探究 - 全文

　　計(jì)算機(jī)的云計(jì)算已經(jīng)舍我其誰地成為了現(xiàn)今互聯(lián)網(wǎng)發(fā)展的主題，其延伸和發(fā)展出的云存儲(chǔ)也當(dāng)仁不讓地成為了主流的數(shù)據(jù)存儲(chǔ)和管理方式。云存儲(chǔ)系統(tǒng)正逐步成為網(wǎng)站和網(wǎng)絡(luò)服務(wù)方用于存放管理自己數(shù)據(jù)信息的主要選擇。云那頭究竟風(fēng)景如何，讓我們來探個(gè)究竟。

　　根據(jù)科技網(wǎng)站ExtremeTech的統(tǒng)計(jì)，整個(gè)互聯(lián)網(wǎng)的下載流量中，有40%是訪問YouTube這樣的視頻網(wǎng)站產(chǎn)生的；色情網(wǎng)站則占了另一大山頭，占據(jù)整體流量的30%；剩下的30%由網(wǎng)絡(luò)硬盤數(shù)據(jù)下載、訪問網(wǎng)址、電子郵件等日常網(wǎng)絡(luò)服務(wù)產(chǎn)生。當(dāng)電腦前的人們從互聯(lián)網(wǎng)上獲取信息時(shí)，大概沒有人會(huì)去關(guān)注信息究竟來自何處。如果大家順藤摸瓜，便可以發(fā)現(xiàn)這些信息中的絕大部分都來源于互聯(lián)網(wǎng)的云端。

　　如今提供云存儲(chǔ)服務(wù)的服務(wù)商不僅有亞馬遜（旗下Amazon Web Services），微軟（旗下Microsoft Azure）和谷歌（旗下Google Drive）這樣的網(wǎng)絡(luò)巨頭，還有成百上千的小公司機(jī)構(gòu)。他們中或擁有一整個(gè)數(shù)據(jù)中心，或只有幾個(gè)機(jī)箱的存儲(chǔ)設(shè)備，規(guī)模參差不齊。從這些大大小小的公司身上我們大可窺探整個(gè)云儲(chǔ)存產(chǎn)業(yè)的火爆程度。

　　云計(jì)算因其出眾的能力備受青睞，它可以最快的效率為網(wǎng)絡(luò)中的任何一方提供相關(guān)服務(wù)。谷歌麾下單單一個(gè)為YouTube服務(wù)的“云團(tuán)”就可以存儲(chǔ)管理幾個(gè)PB（1PB=1024TB）的數(shù)據(jù)。云計(jì)算可以有幾TB的RAM與幾千核的CPU，遠(yuǎn)非傳統(tǒng)計(jì)算機(jī)可比。而云計(jì)算延伸發(fā)展出的云存儲(chǔ)又究竟有著怎樣的魅力，引得谷歌、微軟和Dropbox這樣的巨頭競相折腰？讓我們從數(shù)據(jù)入手。

　　數(shù)據(jù)規(guī)模

　　微軟的一個(gè)數(shù)據(jù)中心

　　通常，谷歌、Facebook、亞馬遜和微軟這樣的大公司都很少對(duì)外發(fā)布自己的詳細(xì)數(shù)據(jù)。不過如果用心去多方核查，還是可以得到一些大概的數(shù)值：

　　Facebook：在Facebook的IPO檔案中，他們提到自己存儲(chǔ)著約為100PB的圖片及視頻信息。如果考慮了Facebook還要對(duì)用戶狀態(tài)這些信息進(jìn)行網(wǎng)絡(luò)備份，我們猜測100PB絕對(duì)不是他們的存儲(chǔ)上限。這里，把這個(gè)數(shù)值估為300PB應(yīng)該不為過。

　　微軟：微軟近日承認(rèn)自己的Hotmail服務(wù)器內(nèi)存有超過100PB的信息，而有著1700萬用戶的SkyDrive也存有10PB的信息。合理預(yù)測整個(gè)微軟的存儲(chǔ)規(guī)模應(yīng)該不在Facebook之下，我們也把它的存儲(chǔ)上限估為300PB。

　　Megaupload：和上面兩個(gè)網(wǎng)絡(luò)巨頭相比Megaupload自然是小巫見大巫，不過它在業(yè)內(nèi)確也有著一席之地，算是25PB吧。

　　亞馬遜：亞馬遜旗下有Simple Storage Service這一網(wǎng)絡(luò)儲(chǔ)存服務(wù)（簡稱S3）。亞馬遜從來沒有向公眾透露過S3究竟存有多大規(guī)模的數(shù)據(jù)量，不過今年四月他們卻對(duì)外宣布S3中存有9050億份文件。假設(shè)平均每份文件的大小為100KB，則S3的存儲(chǔ)量在90PB上下；假設(shè)平均每份文件為1MB，那么S3的存儲(chǔ)規(guī)模將達(dá)到900PB，它將成為唯一一個(gè)儲(chǔ)存規(guī)模接近1EB的服務(wù)商。

　　Dropbox，：去年還只有2500萬用戶的Dropbox當(dāng)時(shí)對(duì)外宣布，自己存儲(chǔ)著逾10PB的數(shù)據(jù)。如今Dropbox的用戶數(shù)已經(jīng)上升到了一億，那么他們的存儲(chǔ)規(guī)模應(yīng)該在40PB上下。

　　儲(chǔ)存這些數(shù)據(jù)究竟多耗地方呢？我們得把這些虛擬數(shù)據(jù)的大小具體化。一臺(tái)普通電腦的硬盤平均存儲(chǔ)空間為500GB或者1TB，1PB=1024TB，也就是說微軟和Facebook最少也得有100000個(gè)硬盤用于存儲(chǔ)信息。普遍情況下，一個(gè)4U機(jī)箱內(nèi)可以塞進(jìn)48個(gè)硬盤?？紤]到還要塞一些其他的連接設(shè)備，那么一個(gè)40U的機(jī)柜大概可以存儲(chǔ)400個(gè)硬盤。一個(gè)40U的機(jī)柜占地約為一平方米，也就是說要存儲(chǔ)100000個(gè)硬盤還是很占地方的。不過對(duì)于谷歌、亞馬遜、Facebook或是微軟這樣有著30000多平米大樓的地主公司來說，找個(gè)地方放機(jī)柜還是不成問題的。事實(shí)上， CPU、服務(wù)器和網(wǎng)關(guān)比硬盤要占地得多。

　　帶寬

　　關(guān)于帶寬我們能獲得的數(shù)據(jù)就更加的有限了。有數(shù)據(jù)顯示去年全球內(nèi)每五分鐘都有100萬份數(shù)據(jù)被下載。今年的網(wǎng)絡(luò)用戶比去年多了3倍，那么今年每分鐘的下載數(shù)量達(dá)到了80萬的水平。亞馬遜的S3作為全球網(wǎng)絡(luò)存儲(chǔ)之首，對(duì)外宣布他們的服務(wù)器每秒鐘要處理的下載請(qǐng)求達(dá)到了65萬份。

　　Dropbox：假設(shè)Dropbox上每份文件（有圖片文件、視頻文件和文檔）的平均大小是500KB，那么根據(jù)Dropbox公布的數(shù)據(jù)可以推測他們服務(wù)器每分鐘的流入數(shù)據(jù)流（用戶上傳數(shù)據(jù)）為0.4TB，也就是每秒6.7GB（交換帶寬54Gbps）。對(duì)于Dropbox的流出數(shù)據(jù)流（用戶從Dropbox服務(wù)器上下載文件）我們沒有詳細(xì)信息，不過可以估計(jì)帶寬大概在10-20Gbps之間。

　　亞馬遜S3：亞馬遜的S3主要是用于網(wǎng)站存儲(chǔ)數(shù)據(jù)，所以文件以文字圖片、網(wǎng)站樣式文件和網(wǎng)頁視頻為主。這些文件的平均大小會(huì)小于Dropbox，假設(shè)為100KB。根據(jù)亞馬遜公布的信息，他們每秒接到650000個(gè)數(shù)據(jù)請(qǐng)求，那么就是每秒61GB（交換帶寬488Gbps），真是個(gè)龐然大物。

　　Facebook及微軟：兩者的數(shù)據(jù)存儲(chǔ)規(guī)模都在100PB到300PB，我們估計(jì)兩者帶寬位于Dropbox和亞馬遜S3之間，暫且定為200Gbps。

　　云的成本分析（以Backblaze為例）

　　我們知道，以上云存儲(chǔ)服務(wù)商都不允許用戶在他們的云端下載自己的軟件，也不允許用戶在自己的云端存儲(chǔ)涉及自己公司硬件數(shù)據(jù)的信息。不過這個(gè)行業(yè)內(nèi)有這么一個(gè)例外，它就是Backblaze。特立獨(dú)行的Backblaze作為云備份服務(wù)提供商來說無法在規(guī)模上和上述巨頭相比，不過也別小看它，它的數(shù)據(jù)肯定會(huì)讓你大吃一驚。

　　Backblaze對(duì)外公布，自己管理著32PB的用戶數(shù)據(jù)。這些數(shù)據(jù)基本上都被儲(chǔ)存在容量為3TB容量的硬盤內(nèi)。在處理數(shù)據(jù)冗余方面，Backblaze把每15個(gè)硬盤捆綁為一個(gè)磁盤數(shù)組，每兩組用RAID 6效驗(yàn)處理。RAID 6可以校驗(yàn)重組硬盤傳輸?shù)臄?shù)據(jù)錯(cuò)誤，同時(shí)快捷有效地恢復(fù)磁盤錯(cuò)誤與讀取錯(cuò)誤，這對(duì)于一個(gè)數(shù)據(jù)中心而言是至關(guān)重要的。

　　Backblaze的服務(wù)器以每月3PB的速度擴(kuò)張，他們每一段時(shí)間新增一個(gè)135TB的定制4U數(shù)據(jù)盒（此盒內(nèi)裝置了45個(gè)3TB的硬盤）。每月3PB也就是說每月新增大概22個(gè)數(shù)據(jù)盒，相當(dāng)于每月增加一個(gè)48U的機(jī)柜。

　　每個(gè)定制數(shù)據(jù)盒的花費(fèi)在7384美元，乍看起來每月添置這么多的數(shù)據(jù)盒真是一筆不小的運(yùn)營支出，但這筆開銷可以算是Backblaze財(cái)務(wù)報(bào)表內(nèi)最小的一塊。電費(fèi)、房租和帶寬開銷才是主要的資金負(fù)擔(dān)，這些費(fèi)用保持著與時(shí)俱進(jìn)的態(tài)度漲個(gè)不停。

　　Backblaze公司的電費(fèi)是0.2美元每千瓦時(shí)，每個(gè)數(shù)據(jù)盒的每月電費(fèi)就要100美元。由此可見一個(gè)數(shù)據(jù)中心要負(fù)擔(dān)的電費(fèi)是相當(dāng)高昂的，所以多數(shù)網(wǎng)絡(luò)公司都選址建于電費(fèi)相對(duì)低廉的地區(qū)，比如美國的俄勒岡州（Oregon）。Backblaze并沒有屬于自己的數(shù)據(jù)中心，他們租用第三方的數(shù)據(jù)中心存放自己的服務(wù)器，也就是說他們每個(gè)月還要負(fù)擔(dān)房租開銷（每個(gè)機(jī)柜平攤下來月房租為1000美金）。目前Backclaze手下約有300個(gè)數(shù)據(jù)盒，40個(gè)機(jī)柜，也就是說每月的電費(fèi)為30000美元，房租為40000美元。

　　然后就是帶寬的費(fèi)用了。Backblaze一直采用12Gbps的境內(nèi)帶寬（每秒傳輸速度約為1.5GB）和500Mpbs的境外帶寬（每秒傳輸速度約為62.5MB）。之所以兩條線路速度不同是因?yàn)锽ackblaze作為一家提供云備份服務(wù)的公司，客戶主要分布在美國國內(nèi)。但500Mbps的帶寬是非常不流暢的，我們可以想象境外用戶在使用Backblaze時(shí)的網(wǎng)絡(luò)很不理想。目前Backblaze每天要接受約一億份來自用戶的文件，折合每年365億份。數(shù)字顯示了一個(gè)很驚人的發(fā)展速度，因?yàn)檫@個(gè)數(shù)字在2011年還僅僅只有6億。我們不知道一臺(tái)計(jì)算機(jī)具體能夠儲(chǔ)存多少文件，但按照每臺(tái)5000個(gè)文件估算（不包括Windows系統(tǒng)文件及program files文件夾文件），保守估計(jì)至少有120000臺(tái)計(jì)算機(jī)在Backclaze上做了文件備份。

　　在Backblaze的初創(chuàng)期，他們每月每Mbps的帶寬費(fèi)用是30美元，不過現(xiàn)在這個(gè)開銷已經(jīng)下降到每月每Mbps 2美元了。估算公司每月負(fù)擔(dān)的帶寬費(fèi)用在25000美元上下。如果Backblaze選擇更為廉價(jià)的帶寬服務(wù)商，并且建立屬于自己的數(shù)據(jù)中心而不是租用別人的地皮，公司的費(fèi)用還有很大的下行空間。綜上所述，合理地考慮房租、帶寬開銷和用電費(fèi)用后，運(yùn)營一個(gè)40PB規(guī)模的“云團(tuán)”（不計(jì)員工工資）每月要耗費(fèi)10萬美元。

　　云的收益分析

? ? ? ? 以微軟、谷歌和Dropbox為代表的大批公司都爭先恐后地入駐云儲(chǔ)存領(lǐng)域。為占領(lǐng)市場份額，各公司之間所做的激烈競爭也是路人皆知。各方英雄鹿逐中原究竟為何原因，看了以下數(shù)字你就知道了。

　　以Backblaze為例，Backblaze提供的無限空間網(wǎng)絡(luò)備份服務(wù)每月收費(fèi)5美元。上文推導(dǎo)得出該公司每月負(fù)擔(dān)的費(fèi)用在10萬美元上下（不計(jì)員工工資），也就是說為了達(dá)到收益——支出平衡它需要20000個(gè)用戶。Backblaze究竟有多少用戶我們不得而知，不過公司的CEO對(duì)外宣稱公司是很賺錢的。（Backblaze只有13個(gè)員工，順便說一下，他們沒有被拖欠工資）

　　Dropbox公司可以做一個(gè)更好的例子。Dropbox提供的50GB網(wǎng)絡(luò)存儲(chǔ)服務(wù)收費(fèi)為每年100美元。與Backblaze不同，Dropbox沒有屬于自己的信息存儲(chǔ)設(shè)備，他們連設(shè)備都是租的。Dropbox把自己的數(shù)據(jù)存儲(chǔ)在亞馬遜的S3服務(wù)器中，儲(chǔ)存規(guī)模達(dá)到了40PB。對(duì)于存儲(chǔ)規(guī)模在5PB以上的客戶，亞馬遜的收費(fèi)標(biāo)準(zhǔn)為每月每GB0.055美元。假設(shè)購買了Dropbox50GB容量存儲(chǔ)服務(wù)的普通客戶平均在云端存有25GB文件，那么Dropbox每月要為每一個(gè)客戶支付給亞馬遜1.38美元，而他們每月可以從客戶手上拿到近10美元。這樣的利潤是可觀的，但事實(shí)上像微軟Skydrive、谷歌Drive和亞馬遜S3這樣自己擁有數(shù)據(jù)中心的云存儲(chǔ)服務(wù)商能到手的收入比這更多。

　　話說回來以上利潤估值只是一個(gè)理想值，它建立在用戶為付費(fèi)用戶的前提之上。然而在現(xiàn)實(shí)中有很多人只選擇了免費(fèi)的云儲(chǔ)存服務(wù)。Dropbox有一億客戶，其中的絕大部分都是非付費(fèi)用戶，付費(fèi)用戶的數(shù)字相當(dāng)有限。所以他們到手的利潤也沒有理想中那么豐厚。

　　云時(shí)代

? ? ? ?對(duì)于各大企業(yè)來說，入駐云儲(chǔ)存領(lǐng)域更大的動(dòng)機(jī)還是出于發(fā)展戰(zhàn)略的考慮。谷歌和微軟兩個(gè)老對(duì)手已經(jīng)把云計(jì)算作為了他們的下一個(gè)戰(zhàn)場。微軟可能會(huì)將云計(jì)算服務(wù)于Windows 8系統(tǒng)，屆時(shí)用戶只需登錄自己的網(wǎng)絡(luò)賬戶就可以把計(jì)算機(jī)上所有的文件和設(shè)置同步到云端。此時(shí)的“個(gè)人電腦”將成為一個(gè)全新的概念，它將不再依托于我們面前的電腦設(shè)備，用戶可以隨意更換電腦，甚至只要用任何一臺(tái)可以上網(wǎng)的機(jī)器（比如PS 3）連接進(jìn)入自己的賬戶，就可以使用屬于自己的“電腦”。谷歌也會(huì)把自己的Chrome系統(tǒng)打造為“云上系統(tǒng)”，完全地基于網(wǎng)絡(luò)。不僅是Chrome，新的安卓系統(tǒng)也會(huì)朝著云計(jì)算的方向靠近。在不遠(yuǎn)的將來谷歌會(huì)把自己旗下的一系列產(chǎn)品通過計(jì)算機(jī)云整合起來，建立一個(gè)全新的“云時(shí)代”。

　　最終，這些網(wǎng)絡(luò)巨頭將把移動(dòng)設(shè)備和個(gè)人電腦通過計(jì)算機(jī)云融為一體。用戶如果習(xí)慣使用谷歌的辦公和數(shù)據(jù)存儲(chǔ)系統(tǒng)，他可以使用Chrome系統(tǒng)加上安卓手機(jī)，因?yàn)檫@兩者已經(jīng)通過谷歌的計(jì)算機(jī)云合為一體。用戶如果鐘情于微軟的辦公及數(shù)據(jù)儲(chǔ)存系統(tǒng)，那么Windows 8加Windows Phone 7就是他最好的選擇。如今的蘋果也已經(jīng)推出了iCloud服務(wù)，用戶使用任何一臺(tái)iPad、iPhone 4S或是Mac Pro和Mac Air登陸自己的iCloud賬戶都可以把相當(dāng)一部分的信息上傳到云端，云儲(chǔ)存幫助蘋果打通了設(shè)備之間的隔閡。等到微軟、谷歌和蘋果都把計(jì)算機(jī)云整合到自己的操作系統(tǒng)內(nèi)部，建立起屬于自己的網(wǎng)絡(luò)軍團(tuán)時(shí)，不知Dropbox這樣的孤兵散將又該何去何從。