大數(shù)據(jù)長期存儲面臨四大挑戰(zhàn) 主流非易失性存儲介質(zhì)的壽命分析

長期存儲提出的挑戰(zhàn)

說起來，很多人對數(shù)據(jù)存儲的時間考慮的比較短，能有五年就不錯了。我今天要講的是一個長期存儲的問題。長期存儲提出了什么樣的挑戰(zhàn)？這里有兩個詞，一個叫“Big Data”，是熱詞，還有一個“Long Data”是一個冷詞。

目前主流存儲介質(zhì)在保存時間方面是短板，硬盤平均壽命是5年，固態(tài)盤也只有5年，磁帶長一點，大概10年，而人的平均壽命75歲，與人相關(guān)的信息至少要保持75年，包括銀行存款、保險、住房等個人資料，以及手機拍攝的照片，最好一輩子保存下來；也包括政府、企事業(yè)單位、軍隊的數(shù)據(jù)都需要長期保存；重要檔案還需要永久保存。

除了國家級的單位，需要長期保存的傳統(tǒng)電影資料也是很困難的，膠片保存幾十年，都已經(jīng)很失真了。我去過中央電視臺資料館，他們使用的磁帶庫有八萬多磁帶，長期保存下去也存在很大的問題，還有國家圖書館，國家投了大量資金。省級的保護工作就差多了，某文化大省古書有五十萬冊，現(xiàn)在有半數(shù)都損壞了，對我們文化遺產(chǎn)是非常大的損失。

一次全國性研討會的信息與感受

我參加了“全國數(shù)字資源長期保存”相關(guān)的全國學(xué)術(shù)研討會，那些真正用到長期保存的國家圖書館、中科院檔案館、國家科技文獻中心等機構(gòu)集中在一起，進行討論。

參加這個會議，我有幾點感受。

一是數(shù)字資源的長期保存，對我們國家而言是極為重要的。比如說中國科學(xué)院有那么多所，所有科研項目都要永久存檔保存；

二是他們因此成立了國家數(shù)字資源長期工作保存體系工作組（NDPP），從法律法規(guī)到管理制度到技術(shù)體系，全方位都考慮到了，工作做的非常細致；

三是正在規(guī)劃建設(shè)國家文獻戰(zhàn)略儲備庫，投入巨大，一個建筑群都設(shè)計好了；

四是技術(shù)層面還面臨非常大的挑戰(zhàn)，采用現(xiàn)有的技術(shù)，維持費用是與日俱增的，希望有更好的技術(shù)。在發(fā)言中，他們提到了我們十年前提出的概念——池光電融合的技術(shù)。經(jīng)過十年努力，我們已經(jīng)推出了相應(yīng)的產(chǎn)品來。

對于國家級長期存儲甚至是永久存儲的需求，我們從事存儲的研究機構(gòu)和企業(yè)能不能滿足需要？

很多行業(yè)信息非常重要，是丟不得的，一丟就會產(chǎn)生很大的損失。所以很多國家出臺了強制性的法律。最有名的就是安然事件以后美國出臺的塞班斯法案，強制企業(yè)要永久保留數(shù)據(jù)，用于打官司什么的，必須拿出不可篡改原始數(shù)據(jù)。美國各個行業(yè)有長期保存的法案，歐盟也規(guī)定了數(shù)據(jù)保留法案，規(guī)定每個行業(yè)數(shù)據(jù)要保存多少年，我們國家也陸續(xù)出臺了各種各樣的法案，去年規(guī)定要求電子病例最少要保存三十年，人的壽命75年，最少保存三十年。

互聯(lián)網(wǎng)企業(yè)的冷數(shù)據(jù)存儲負擔將越來越不堪承受

除了很重要的信息以外，我們還有很多冷數(shù)據(jù)也是要長期保存的。

比如大家都在用的微信朋友圈。前一段時間參加了騰訊開發(fā)者大會討論了這個問題，說每天光朋友圈上傳的照片就是十億張，第一天發(fā)布的時候很多人點贊，非常熱，第二天數(shù)據(jù)急劇的變冷，第三天就沒有人訪問了。但朋友圈的照片又不能扔掉，騰訊從微信開始那天到現(xiàn)在的數(shù)據(jù)都在保留，保留在硬盤當中（三個副本），而且會一直保留下去，一天十億張照片，應(yīng)該說有上百萬臺硬盤在不停的運轉(zhuǎn)，這就是越來越大的能源負擔。雖然有一種技術(shù)使它休眠，但控制起來其實也有一定的問題。除了消耗硬盤運轉(zhuǎn)的能源以外，還有冷卻，這么多硬盤在一起發(fā)熱很嚴重，硬盤一旦沒有空調(diào)是很容易損壞的，這樣這個成本是與日俱增。

互聯(lián)網(wǎng)之父的擔憂

還有一個更深刻的問題，互聯(lián)網(wǎng)之父Vint Cerf先生2015年在一個大型科技會議上擔心今天保留在計算機和互聯(lián)網(wǎng)上的圖片文件都將丟失，人類將進入一個數(shù)字黑暗時代，未來的人可能都不知道今天人的歷史記錄。他現(xiàn)在在谷歌的工作，就是研究如何長期保存互聯(lián)網(wǎng)上的信息，也開展了范圍極為廣泛的調(diào)查，就是保存信息一百年的需求，結(jié)果調(diào)查回來的結(jié)論是信息的長期保存和在線是一個相當普遍的任務(wù)，這也引發(fā)了國際上研究的課題How preserve information for 100years？就是如何保存信息一百年。除了谷歌，還有學(xué)術(shù)界的CMU等也都做這方面的研究工作。

大數(shù)據(jù)長期存儲面臨四大挑戰(zhàn)

我認為，數(shù)據(jù)的長期存儲有四大挑戰(zhàn)。

一是壽命，現(xiàn)在存儲介質(zhì)的壽命與實際的需求有數(shù)量級的差別。我們的關(guān)注和研究才幾年，卻要它能使用幾十年百年甚至更長的時間，有數(shù)量級的差距。

二是成本。信息越來越多，而且信息增長的速度是指數(shù)級的增長，都要保存下去，面臨巨大的成本。

除了設(shè)備成本，還有數(shù)據(jù)遷移成本。

看看這張圖。這個是國際上的一個資料上。數(shù)據(jù)遷移是目前的長期存儲主要手段。75年各種數(shù)據(jù)遷移成本的比較。如果用硬盤五年就要換一次，把5個PB的數(shù)據(jù)需要1000個硬盤，五年換1000個，這樣下來上百萬個硬盤才能保存75年，設(shè)備成本很大。再一個，數(shù)據(jù)遷移的時候，還要花很多人力物力，能耗成本也是非常大的?？傊@個成本是相當大的挑戰(zhàn)。

三是更新的挑戰(zhàn)，以前用的軟盤，技術(shù)的更新以及設(shè)備的更新，存儲產(chǎn)品也在不斷升級。

四是協(xié)議的更新。

來看看什么叫協(xié)議的一致性。

埃及象形文字保存的真好，每一個字都清清楚楚，但是誰也不知道是什么意思，信息其實是丟失了。這個問題怎么解決的？在18世紀法國一個探險隊到埃及一個港灣城市羅塞塔（Rosetta）發(fā)現(xiàn)一塊石碑（在英法兩國戰(zhàn)爭之中輾轉(zhuǎn)到了英國大英博物館），上面有三個部分，分別是古埃及的象形文字，古希臘文和當時的通俗體文字，刻的是同樣的內(nèi)容，考古學(xué)家根據(jù)這個碑把協(xié)議找出來了，破解了失傳千余年的埃及象形文之意義與結(jié)構(gòu)，在博物館里就知道寫的什么意思了。為了表示感謝，埃及贈送了一個方尖碑給法國，安置在法國廣場。有個翻譯軟件叫羅塞塔，就是根據(jù)這個故事來的。這就是協(xié)議的長期一致性，光物理保存下來還不行，軟件這個協(xié)議還要一致。

如何應(yīng)對挑戰(zhàn)？

我認為，對策有兩個，一是開發(fā)更長壽命更廉價的大容量存儲設(shè)備，二是解決協(xié)議的一致性問題。

主流非易失性存儲介質(zhì)的壽命分析

目前主流存儲介質(zhì)，硬盤五年、磁帶十年，固態(tài)盤靠電荷保存信息，更不可靠，隨著密度提高，電荷越來越少，壽命越來越短，我們用很多技術(shù)保證它保存五年。

光盤壽命會長一些。CD剛出來的時候我就買了，到現(xiàn)在快40年了，還能放出歌曲來，后來又一個出了染料DVD，壽命短的，三年就會壞。藍光可以保存50年，現(xiàn)在有一種M—Disc（千年光盤），一種熔融石英玻璃光盤，幾乎可以永久保存。

對比認為，光存儲是壽命潛力最大的存儲介質(zhì)。

光存儲為什么壽命比較長呢？給大家一個啟示。我們古老的東西保存都很長，中東古巴比倫謨拉比法典距今3800年，埃及莎草紙死亡之書，都是光存儲。傳統(tǒng)存儲，如石刻、竹簡、紙張上書寫本質(zhì)上都是對光的反射差別形成的信息記錄，只要是光反射的介質(zhì)壽命足夠長，信息就可以長期保存。

光存儲在大數(shù)據(jù)存儲領(lǐng)域的優(yōu)勢

光存儲的優(yōu)勢一是長壽命，二是節(jié)能，介質(zhì)與驅(qū)動器分離的，不存儲的時候可以存放起來，抗電磁干擾、防水，颶風來的時候磁帶、硬盤都會損壞，只有光盤還有。日本人把藍光光盤放在海里泡兩個月數(shù)據(jù)還能讀出來。光存儲還有一個優(yōu)勢是成本低廉，就在塑料片鍍一層模板，對環(huán)境要求也不高。

光存儲也有劣勢，一個是容量小，第一代藍光光盤只有25G，后來50G，現(xiàn)在最高300G，硬盤固態(tài)盤起碼高一個數(shù)量級；二是速度慢，光驅(qū)速度10M/s，比硬盤慢，比固態(tài)盤更慢，接近兩個數(shù)量級的差別。

十年前，光盤當時音視頻分發(fā)的功能和軟件分發(fā)的功能即將被取代的前夜，光存儲界探討能否開發(fā)新的產(chǎn)品，發(fā)揮光存儲的優(yōu)勢來克服光存儲劣勢，國內(nèi)外工作者工作用了將近十年時間交出了答案——超大容量的光盤庫。

國際上有三種光盤或者類型，紫晶、日立、Facebook與互盟。

沒有一種各方面都理想的存儲介質(zhì)

談到用途，應(yīng)該說是這樣，熱數(shù)據(jù)用閃存介質(zhì)，溫數(shù)據(jù)用磁記錄介質(zhì)。冷數(shù)據(jù)和歸檔數(shù)據(jù)用光介質(zhì)的時機已經(jīng)到了，當前用磁盤更多，磁帶庫也不少，但Facebook已經(jīng)用光存儲存冷數(shù)據(jù)。

在自主創(chuàng)新方面，我們和紫晶一起做出來世界上最大的光盤庫，在密度、帶寬、響應(yīng)時間方面，關(guān)鍵指標上都是優(yōu)于國際同類產(chǎn)品，形成了自主核心技術(shù)，已經(jīng)開始應(yīng)用于實際了。

光存儲未來有三種變革性的技術(shù)

光存儲技術(shù)，在藍光光盤容量到了1TB以后就到了極限，幾乎就沒有突破的可能了。如果再往后就靠波層，這個路走不很遠了。

藍光之后下一代變革性光存儲技術(shù)。

第一種是同軸多維全息光存儲技術(shù)，剛剛列入國家重點研發(fā)計劃，我們和福建師大，中科院光電所和紫晶一起參與了這個項目。第二種是2014年得了諾貝爾獎的突破光的衍射極限項目，澳大利亞科學(xué)家就是把這個技術(shù)用到光上，把光斑從300納米理論上可以減少到九個納米，這是非常大的容量上巨大的提高，至少可達15TB每盤，理想上可實現(xiàn)PB級。第一發(fā)明人是大陸過去的甘棕松博士，現(xiàn)在回到國內(nèi)武漢廣電中心，實驗室最新的進展是380納米這么一個點，現(xiàn)在差不多在一個位上100個點上去了，實現(xiàn)了百倍的提高。

最近有個新聞，說是微軟公司將今年好萊塢影片“超人”刻在玻璃上可以永久保存。這個技術(shù)來源于英國南開普敦大學(xué)開發(fā)的納米晶玻璃5維光盤，存儲壽命可超過300億年，1000度高溫下不丟失信息。

這個技術(shù)被微軟看重了，微軟投了很大人力物力，成立幾十人團隊，進展很快，從英國引進的5D納米晶悠久存儲的領(lǐng)先研究者張靜宇博士，他回來以后在武漢啟動了多維永久存儲的研發(fā)。

5維是哪5維？是三維加上光強、偏振，而我們實驗室除了剛才光強和偏振以外還有姿態(tài)，不同的姿態(tài)形成七維，一個點可以有很多信息，他在英國把圣經(jīng)寫進去了，國內(nèi)將我國最高領(lǐng)導(dǎo)人的社會主義核心價值觀刻進去了。這是我們目前做的工作。

光存儲前景與我們的目標

近年來，光學(xué)衍射極限的突破和多維技術(shù)的進展，使光存儲技術(shù)具有極大的容量提升空間，超過了目前所有的存儲技術(shù)。加上光存儲壽命上的突破，未來光存儲技術(shù)呈現(xiàn)出光明的前景。

武漢光電研究中心 將光學(xué)衍射極限的突破與多維技術(shù)結(jié)合，再加上已經(jīng)成功的光盤庫技術(shù)，將形成巨大容量、超長壽命的全新產(chǎn)品，迎接未來大數(shù)據(jù)存儲的挑戰(zhàn)，有望形成新的產(chǎn)業(yè)。

國家級的研究中心在光存儲的現(xiàn)有技術(shù)和未來技術(shù)上都形成了很好的技術(shù)積累和人才積累，花了8年時間研制成功超大容量光盤庫，大力引進掌握世界最先進技術(shù)的人才。

武漢光電研究中心的目標就是用這個技術(shù)做到300TB，可能目標到不了那么高，但一個盤50 TB，我們已經(jīng)有12000光盤庫，現(xiàn)有技術(shù)加未來技術(shù)，一個標準位可以存600 PB，而且是永久存儲。

關(guān)于解決協(xié)議一致性的問題，協(xié)議丟失以后還是認不出來，或者程序運行不了，現(xiàn)在武漢光電中心有研究的課題，國外也在研究，把那些數(shù)據(jù)按照規(guī)范按照一定的格式存下去，在很久以后還能夠恢復(fù)這些數(shù)據(jù)，這也有很多工作，因為時間所限就不講了。

結(jié)語

大數(shù)據(jù)長期保存，在當前和未來都是十分重要的技術(shù)。隨著時間的演進，人們將越來越認識到它的重要性。光存儲在數(shù)字資源長期保存具有獨特的優(yōu)勢，目前已經(jīng)有合適的產(chǎn)品，超大容量光盤庫已經(jīng)商品化、實現(xiàn)了實用，市場可以越來越多采用這種技術(shù)。

三種變革性的技術(shù)正在取得突破，使未來光存儲在長期冷數(shù)據(jù)存儲方面，應(yīng)該具有絕對的優(yōu)勢。一個物理長效和協(xié)議的長效，一個硬的問題一個軟的問題都是值得關(guān)注的問題。