藍光存儲基本結(jié)構(gòu)_藍光存儲優(yōu)缺點及應(yīng)用

我們一般接觸到的存儲是機械硬盤HDD或固態(tài)硬盤SSD，其實還有磁帶庫、藍光等海量存儲介質(zhì)，比如Facebook數(shù)據(jù)中心就采用了藍光存儲。

阿呆最近在SSDFans微信群看到一個華錄藍光存儲的PPT，摘錄出來分享給讀者。

一個DA-BH7010藍光存儲機柜最大容量為1.64PB，機柜的基本結(jié)構(gòu)如下圖，上面是6個6U的光盤單元，最底下是電源和控制服務(wù)器。

藍光存儲基本結(jié)構(gòu)

看看藍光存儲的基本結(jié)構(gòu)，如下圖，左邊是光盤匣，右邊是光驅(qū)陣列，下面是機械手，最后以SAS接口連到服務(wù)器，包含了RAID和機械手控制器以及驅(qū)動。

上層系統(tǒng)

以各光盤匣為單位進行管理→容量為3.6TB

將光盤匣分為2組（6張碟片為一個單位），送入光驅(qū)

光驅(qū)系統(tǒng)，6臺光驅(qū)為一組，使用RAID0/5/6，刻錄讀取數(shù)據(jù)

【特點】

以光盤匣為單位進行數(shù)據(jù)的刻錄、讀取。

可以保證高傳輸速度、RAID冗余、離線管理等。

刻錄數(shù)據(jù)較大時，可以使用Reed-Solomon。數(shù)據(jù)小時，因為在傳輸速度上沒有優(yōu)勢，所以采用方案1的方式，光驅(qū)的效率更高。

【優(yōu)勢/不足】

以光盤匣為單位管理數(shù)據(jù)。使用RAID保護數(shù)據(jù)?？梢赃M行離線管理。

若要實現(xiàn)設(shè)備間的冗余，需要鏡像處理，所以系統(tǒng)成本提高。

另一種模式就沒有RAID了，光驅(qū)分別控制。

上層系統(tǒng)

以各碟片為單位進行管理→容量為300GB

根據(jù)需要，將碟片送入光驅(qū)

以光驅(qū)為單位進行控制、數(shù)據(jù)的刻錄與讀取

【特點】

以碟片為單位進行數(shù)據(jù)的刻錄、讀取。雖然能夠有效的使用光驅(qū)，但是傳輸速度下降。

Reed-Solomon分割的數(shù)據(jù)，刻錄在不同的碟片中。

各碟片放置在不同的機柜中，即使設(shè)備本身出現(xiàn)問題，也能正常讀取數(shù)據(jù)。

如果各碟片放置在不同的數(shù)據(jù)中心，即使一個數(shù)據(jù)中心出現(xiàn)問題，也不影響數(shù)據(jù)的正常讀取。

【優(yōu)勢/不足】

可以實現(xiàn)設(shè)備間冗余，數(shù)據(jù)中心間冗余。

因為搭載多個光驅(qū)，文件大小可以滿足多個用戶同時訪問的要求。

離線管理困難。

最后一種模式是最上層做成NAS、對象存儲。

上層系統(tǒng)

以卷為單位進行管理→容量可調(diào)

將光盤匣分為2組（6張為一個單位），分割至每個卷使用

采用NAS、Object Storage的刻錄讀取方式，可以進行文件的訪問

【特征】

有NAS、對象存儲等接口，與現(xiàn)存系統(tǒng)的連接性高?？梢耘c普通的ISV相連接。

因為以光盤匣為單位進行數(shù)據(jù)的刻錄、讀取，可以保證高傳輸速度、RAID冗余、離線管理等

【優(yōu)勢/不足】

以光盤匣為單位管理數(shù)據(jù)、使用RAID保護數(shù)據(jù)、可以進行離線管理。

若要實現(xiàn)設(shè)備間的冗余，需要鏡像處理，所以將提高系統(tǒng)成本。

Facebook藍光存儲

facebook是世界上最大的圖片分享網(wǎng)站

2013年活躍用戶的數(shù)量達到11.5億人，每天上傳照片數(shù)量超過3.5億張

2015年活躍用戶的數(shù)量超過15億人，單日使用量突破10億人次

facebook保存了數(shù)目龐大的照片數(shù)據(jù)

目前累計上傳照片數(shù)量超過6000億張

對于每張照片，facebook存儲大小不同的四個版本（在某些場景下只需展示縮略圖）

意味著：facebook服務(wù)器上存儲著2.4萬億張照片

下圖是社交網(wǎng)站圖片的訪問頻率隨時間的變化趨勢，剛上傳后訪問頻率最高，后面逐漸降低，一年后就成了偶爾訪問。存儲介質(zhì)也是分級存儲，從全閃存、SSD到HDD、光盤。

facebook保存大量圖像數(shù)據(jù)。為了滿足實時性要求，在Hadoop系統(tǒng)上保存圖像數(shù)據(jù)。

作為Hadoop發(fā)生故障時的候補，在光存儲系統(tǒng)上存儲Hadoop的備份。

為了提升備份效率，使用Reed Solomon符號在光盤上分散記錄。

Facebook最終采用了藍光光盤作為冷存儲介質(zhì)：

用戶照片等數(shù)據(jù)需要長期保存,現(xiàn)有介質(zhì)成本高、可靠性低

與硬盤相比整體成本削減50%以上 [成本包括：設(shè)備成本、能耗成本、網(wǎng)絡(luò)成本、機房成本、人員成本、運營成本]

耗電量降低80%以上 [光盤庫工作功耗遠低于硬盤，且不需要空調(diào)冷卻系統(tǒng)——光盤庫工作能耗為88W,采用外部空氣過濾系統(tǒng)替代空調(diào)冷卻系統(tǒng)]

異地備份方案

在冷存儲更新頻度低的前提下，地理上分離的多個場所間作數(shù)據(jù)冗余

以冷數(shù)據(jù)為對象搭載異地備份（Geo Replication）功能

由于有數(shù)據(jù)中心間的冗余功能，數(shù)據(jù)中心內(nèi)的冗余設(shè)備廢止（２系統(tǒng)供電、UPS、自備電源、回路２重化、防震構(gòu)造等），數(shù)據(jù)中心大幅降低成本，在這個基礎(chǔ)上云服務(wù)成本大幅降低

facebook已在Prineville的Forest City進行商用，Google已在Spanner上實現(xiàn)

異地備份使可用性和吞吐量性能同時實現(xiàn)

藍光存儲的未來

先看看藍光存儲技術(shù)路線圖，2023年單盤可以到幾TB容量。

未來的光存儲技術(shù)還有：

全息光存儲技術(shù)（美國InPhase,日本日立、NHK)；InPhace 1.6TB/盤；日立2TB-8TB/盤

雙光束超分辨技術(shù) (澳大利亞 顧敏院士，武漢光電國家實驗室）

實驗裝置水平：可實現(xiàn)單盤15TB容量

最新實驗結(jié)果：9nm特征尺寸 理論上可達單盤 1PB