AFS，GFS ，QKFile主流分布式存儲文件系統(tǒng)

主流的3種分布式存儲文件系統(tǒng) 存儲架構(gòu)分兩種，一種是傳統(tǒng)存儲陣列架構(gòu)，另一種就是本文將要重點(diǎn)介紹的分布式存儲架構(gòu)。進(jìn)入大數(shù)據(jù)時代，隨著數(shù)據(jù)量的飛速增加，企業(yè)對于數(shù)據(jù)存儲的可擴(kuò)展性不斷提出要求，而具有擴(kuò)展性強(qiáng)、價格低廉特點(diǎn)的分布式存儲系統(tǒng)則漸漸成為眾多企業(yè)的選擇。可以說，得益于大數(shù)據(jù)的繁盛發(fā)展，分布式存儲架構(gòu)在近幾年中得到了前所未有的關(guān)注。 當(dāng)前市場上，比較主流的3種分布式存儲文件系統(tǒng)，分別有AFS、GFS、Lustre。它們基本都有一個共通點(diǎn)——全局名字空間、緩存一致性、安全性、可用性和可擴(kuò)展性。

二、3種分布式存儲文件系統(tǒng)的各自特點(diǎn)

1.AFS 由卡內(nèi)基美隆大學(xué)最初設(shè)計(jì)開發(fā)的AFS，目前已經(jīng)相當(dāng)成熟，用于研究和部分大型網(wǎng)絡(luò)中。AFS是AndrewFileSystem的簡稱，它的主要組建包括Cells、AFSclients、基本存儲單元Volumes、AFSservers和Volumereplication。 擁有良好可擴(kuò)展性的AFS，能夠?yàn)榭蛻舳藥硇阅艿奶嵘涂捎眯缘奶岣?。AFS將文件系統(tǒng)的可擴(kuò)展性放在了設(shè)計(jì)和實(shí)踐的首要位置，因此AFS擁有很好的擴(kuò)展性，能夠輕松支持?jǐn)?shù)百個節(jié)點(diǎn)，甚至數(shù)千個節(jié)點(diǎn)的分布式環(huán)境。它實(shí)現(xiàn)的是模塊化的，所以并不要求在每臺服務(wù)器上運(yùn)行所有服務(wù)器進(jìn)程。 但值得一提的是，AFS的缺點(diǎn)在于管理員界面友好性不足，需要更多的專業(yè)知識來支持。

2.GFS 被稱為谷歌文件系統(tǒng)的GFS（GoogleFileSystem），是用以實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的主要技術(shù)和文件系統(tǒng)。它的性能、可擴(kuò)展性、可靠性和可用性都受到了肯定。它主要運(yùn)行在大量運(yùn)行Linux系統(tǒng)的普通機(jī)器上，能大大降低它的硬件成本。 文件的大小，一直是文件系統(tǒng)要考慮的問題。對于任何一種文件系統(tǒng)，成千上萬的幾KB的系統(tǒng)很容易壓死內(nèi)存。所以，對于大型的文件，管理要高效，對于小型的文件，也需要支持，但是并沒有進(jìn)行優(yōu)化。在GFS中，chunkserver的大小被固定為64MB，這樣的塊規(guī)模比一般的文件系統(tǒng)的塊規(guī)模要大得多，可以減少元數(shù)據(jù)metadata的開銷，減少M(fèi)aster的交互。但是，太大的塊規(guī)模也會產(chǎn)生內(nèi)部碎片，或者同一個chunk中存在多個小文件可能會產(chǎn)生訪問熱點(diǎn)。

3.QKFile qkf是qkfile項(xiàng)目的燃料，qkfile項(xiàng)目是一個全球性的公共分布式文件系統(tǒng)，可以給網(wǎng)盤、云存儲、短視頻、圖片、cdn等領(lǐng)域提供可靠的文件存儲分發(fā)服務(wù)，現(xiàn)在文件存儲行業(yè)的市場規(guī)模是千億美元級別，qkfile項(xiàng)目就是瞄準(zhǔn)這個市場而推出的。未來所有的app、網(wǎng)站都可以使用qkfile項(xiàng)目提供的分布式文件系統(tǒng)，存儲、分發(fā)數(shù)據(jù)，大家聊天發(fā)的圖片，朋友圈發(fā)的視頻，都可以使用qkfile。