長期存儲提出的挑戰(zhàn)

說起來，很多人對數據存儲的時間考慮的比較短，能有五年就不錯了。我今天要講的是一個長期存儲的問題。長期存儲提出了什么樣的挑戰(zhàn)？這里有兩個詞，一個叫“Big Data”，是熱詞，還有一個“Long Data”是一個冷詞。

目前主流存儲介質在保存時間方面是短板，硬盤平均壽命是5年，固態(tài)盤也只有5年，磁帶長一點，大概10年，而人的平均壽命75歲，與人相關的信息至少要保持75年，包括銀行存款、保險、住房等個人資料，以及手機拍攝的照片，最好一輩子保存下來；也包括政府、企事業(yè)單位、軍隊的數據都需要長期保存；重要檔案還需要永久保存。

除了國家級的單位，需要長期保存的傳統電影資料也是很困難的，膠片保存幾十年，都已經很失真了。我去過中央電視臺資料館，他們使用的磁帶庫有八萬多磁帶，長期保存下去也存在很大的問題，還有國家圖書館，國家投了大量資金。省級的保護工作就差多了，某文化大省古書有五十萬冊，現在有半數都損壞了，對我們文化遺產是非常大的損失。

一次全國性研討會的信息與感受

我參加了“全國數字資源長期保存”相關的全國學術研討會，那些真正用到長期保存的國家圖書館、中科院檔案館、國家科技文獻中心等機構集中在一起，進行討論。

參加這個會議，我有幾點感受。

一是數字資源的長期保存，對我們國家而言是極為重要的。比如說中國科學院有那么多所，所有科研項目都要永久存檔保存；

二是他們因此成立了國家數字資源長期工作保存體系工作組（NDPP），從法律法規(guī)到管理制度到技術體系，全方位都考慮到了，工作做的非常細致；

三是正在規(guī)劃建設國家文獻戰(zhàn)略儲備庫，投入巨大，一個建筑群都設計好了；

四是技術層面還面臨非常大的挑戰(zhàn)，采用現有的技術，維持費用是與日俱增的，希望有更好的技術。在發(fā)言中，他們提到了我們十年前提出的概念——池光電融合的技術。經過十年努力，我們已經推出了相應的產品來。

對于國家級長期存儲甚至是永久存儲的需求，我們從事存儲的研究機構和企業(yè)能不能滿足需要？

很多行業(yè)信息非常重要，是丟不得的，一丟就會產生很大的損失。所以很多國家出臺了強制性的法律。最有名的就是安然事件以后美國出臺的塞班斯法案，強制企業(yè)要永久保留數據，用于打官司什么的，必須拿出不可篡改原始數據。美國各個行業(yè)有長期保存的法案，歐盟也規(guī)定了數據保留法案，規(guī)定每個行業(yè)數據要保存多少年，我們國家也陸續(xù)出臺了各種各樣的法案，去年規(guī)定要求電子病例最少要保存三十年，人的壽命75年，最少保存三十年。

互聯網企業(yè)的冷數據存儲負擔將越來越不堪承受

除了很重要的信息以外，我們還有很多冷數據也是要長期保存的。

比如大家都在用的微信朋友圈。前一段時間參加了騰訊開發(fā)者大會討論了這個問題，說每天光朋友圈上傳的照片就是十億張，第一天發(fā)布的時候很多人點贊，非常熱，第二天數據急劇的變冷，第三天就沒有人訪問了。但朋友圈的照片又不能扔掉，騰訊從微信開始那天到現在的數據都在保留，保留在硬盤當中（三個副本），而且會一直保留下去，一天十億張照片，應該說有上百萬臺硬盤在不停的運轉，這就是越來越大的能源負擔。雖然有一種技術使它休眠，但控制起來其實也有一定的問題。除了消耗硬盤運轉的能源以外，還有冷卻，這么多硬盤在一起發(fā)熱很嚴重，硬盤一旦沒有空調是很容易損壞的，這樣這個成本是與日俱增。

互聯網之父的擔憂

還有一個更深刻的問題，互聯網之父Vint Cerf先生2015年在一個大型科技會議上擔心今天保留在計算機和互聯網上的圖片文件都將丟失，人類將進入一個數字黑暗時代，未來的人可能都不知道今天人的歷史記錄。他現在在谷歌的工作，就是研究如何長期保存互聯網上的信息，也開展了范圍極為廣泛的調查，就是保存信息一百年的需求，結果調查回來的結論是信息的長期保存和在線是一個相當普遍的任務，這也引發(fā)了國際上研究的課題How preserve information for 100years？就是如何保存信息一百年。除了谷歌，還有學術界的CMU等也都做這方面的研究工作。

大數據長期存儲面臨四大挑戰(zhàn)

我認為，數據的長期存儲有四大挑戰(zhàn)。

一是壽命，現在存儲介質的壽命與實際的需求有數量級的差別。我們的關注和研究才幾年，卻要它能使用幾十年百年甚至更長的時間，有數量級的差距。

二是成本。信息越來越多，而且信息增長的速度是指數級的增長，都要保存下去，面臨巨大的成本。

除了設備成本，還有數據遷移成本。

看看這張圖。這個是國際上的一個資料上。數據遷移是目前的長期存儲主要手段。75年各種數據遷移成本的比較。如果用硬盤五年就要換一次，把5個PB的數據需要1000個硬盤，五年換1000個，這樣下來上百萬個硬盤才能保存75年，設備成本很大。再一個，數據遷移的時候，還要花很多人力物力，能耗成本也是非常大的。總之，這個成本是相當大的挑戰(zhàn)。

三是更新的挑戰(zhàn)，以前用的軟盤，技術的更新以及設備的更新，存儲產品也在不斷升級。

四是協議的更新。

來看看什么叫協議的一致性。

埃及象形文字保存的真好，每一個字都清清楚楚，但是誰也不知道是什么意思，信息其實是丟失了。這個問題怎么解決的？在18世紀法國一個探險隊到埃及一個港灣城市羅塞塔（Rosetta）發(fā)現一塊石碑（在英法兩國戰(zhàn)爭之中輾轉到了英國大英博物館），上面有三個部分，分別是古埃及的象形文字，古希臘文和當時的通俗體文字，刻的是同樣的內容，考古學家根據這個碑把協議找出來了，破解了失傳千余年的埃及象形文之意義與結構，在博物館里就知道寫的什么意思了。為了表示感謝，埃及贈送了一個方尖碑給法國，安置在法國廣場。有個翻譯軟件叫羅塞塔，就是根據這個故事來的。這就是協議的長期一致性，光物理保存下來還不行，軟件這個協議還要一致。

如何應對挑戰(zhàn)？

我認為，對策有兩個，一是開發(fā)更長壽命更廉價的大容量存儲設備，二是解決協議的一致性問題。

主流非易失性存儲介質的壽命分析

目前主流存儲介質，硬盤五年、磁帶十年，固態(tài)盤靠電荷保存信息，更不可靠，隨著密度提高，電荷越來越少，壽命越來越短，我們用很多技術保證它保存五年。

光盤壽命會長一些。CD剛出來的時候我就買了，到現在快40年了，還能放出歌曲來，后來又一個出了染料DVD，壽命短的，三年就會壞。藍光可以保存50年，現在有一種M—Disc（千年光盤），一種熔融石英玻璃光盤，幾乎可以永久保存。

對比認為，光存儲是壽命潛力最大的存儲介質。

光存儲為什么壽命比較長呢？給大家一個啟示。我們古老的東西保存都很長，中東古巴比倫謨拉比法典距今3800年，埃及莎草紙死亡之書，都是光存儲。傳統存儲，如石刻、竹簡、紙張上書寫本質上都是對光的反射差別形成的信息記錄，只要是光反射的介質壽命足夠長，信息就可以長期保存。

光存儲在大數據存儲領域的優(yōu)勢

光存儲的優(yōu)勢一是長壽命，二是節(jié)能，介質與驅動器分離的，不存儲的時候可以存放起來，抗電磁干擾、防水，颶風來的時候磁帶、硬盤都會損壞，只有光盤還有。日本人把藍光光盤放在海里泡兩個月數據還能讀出來。光存儲還有一個優(yōu)勢是成本低廉，就在塑料片鍍一層模板，對環(huán)境要求也不高。

光存儲也有劣勢，一個是容量小，第一代藍光光盤只有25G，后來50G，現在最高300G，硬盤固態(tài)盤起碼高一個數量級；二是速度慢，光驅速度10M/s，比硬盤慢，比固態(tài)盤更慢，接近兩個數量級的差別。

十年前，光盤當時音視頻分發(fā)的功能和軟件分發(fā)的功能即將被取代的前夜，光存儲界探討能否開發(fā)新的產品，發(fā)揮光存儲的優(yōu)勢來克服光存儲劣勢，國內外工作者工作用了將近十年時間交出了答案——超大容量的光盤庫。

國際上有三種光盤或者類型，紫晶、日立、Facebook與互盟。

沒有一種各方面都理想的存儲介質

談到用途，應該說是這樣，熱數據用閃存介質，溫數據用磁記錄介質。冷數據和歸檔數據用光介質的時機已經到了，當前用磁盤更多，磁帶庫也不少，但Facebook已經用光存儲存冷數據。

在自主創(chuàng)新方面，我們和紫晶一起做出來世界上最大的光盤庫，在密度、帶寬、響應時間方面，關鍵指標上都是優(yōu)于國際同類產品，形成了自主核心技術，已經開始應用于實際了。

光存儲未來有三種變革性的技術

光存儲技術，在藍光光盤容量到了1TB以后就到了極限，幾乎就沒有突破的可能了。如果再往后就靠波層，這個路走不很遠了。

藍光之后下一代變革性光存儲技術。

第一種是同軸多維全息光存儲技術，剛剛列入國家重點研發(fā)計劃，我們和福建師大，中科院光電所和紫晶一起參與了這個項目。第二種是2014年得了諾貝爾獎的突破光的衍射極限項目，澳大利亞科學家就是把這個技術用到光上，把光斑從300納米理論上可以減少到九個納米，這是非常大的容量上巨大的提高，至少可達15TB每盤，理想上可實現PB級。第一發(fā)明人是大陸過去的甘棕松博士，現在回到國內武漢廣電中心，實驗室最新的進展是380納米這么一個點，現在差不多在一個位上100個點上去了，實現了百倍的提高。

最近有個新聞，說是微軟公司將今年好萊塢影片“超人”刻在玻璃上可以永久保存。這個技術來源于英國南開普敦大學開發(fā)的納米晶玻璃5維光盤，存儲壽命可超過300億年，1000度高溫下不丟失信息。

這個技術被微軟看重了，微軟投了很大人力物力，成立幾十人團隊，進展很快，從英國引進的5D納米晶悠久存儲的領先研究者張靜宇博士，他回來以后在武漢啟動了多維永久存儲的研發(fā)。

5維是哪5維？是三維加上光強、偏振，而我們實驗室除了剛才光強和偏振以外還有姿態(tài)，不同的姿態(tài)形成七維，一個點可以有很多信息，他在英國把圣經寫進去了，國內將我國最高領導人的社會主義核心價值觀刻進去了。這是我們目前做的工作。

光存儲前景與我們的目標

近年來，光學衍射極限的突破和多維技術的進展，使光存儲技術具有極大的容量提升空間，超過了目前所有的存儲技術。加上光存儲壽命上的突破，未來光存儲技術呈現出光明的前景。

武漢光電研究中心 將光學衍射極限的突破與多維技術結合，再加上已經成功的光盤庫技術，將形成巨大容量、超長壽命的全新產品，迎接未來大數據存儲的挑戰(zhàn)，有望形成新的產業(yè)。

國家級的研究中心在光存儲的現有技術和未來技術上都形成了很好的技術積累和人才積累，花了8年時間研制成功超大容量光盤庫，大力引進掌握世界最先進技術的人才。

武漢光電研究中心的目標就是用這個技術做到300TB，可能目標到不了那么高，但一個盤50 TB，我們已經有12000光盤庫，現有技術加未來技術，一個標準位可以存600 PB，而且是永久存儲。

關于解決協議一致性的問題，協議丟失以后還是認不出來，或者程序運行不了，現在武漢光電中心有研究的課題，國外也在研究，把那些數據按照規(guī)范按照一定的格式存下去，在很久以后還能夠恢復這些數據，這也有很多工作，因為時間所限就不講了。

結語

大數據長期保存，在當前和未來都是十分重要的技術。隨著時間的演進，人們將越來越認識到它的重要性。光存儲在數字資源長期保存具有獨特的優(yōu)勢，目前已經有合適的產品，超大容量光盤庫已經商品化、實現了實用，市場可以越來越多采用這種技術。

三種變革性的技術正在取得突破，使未來光存儲在長期冷數據存儲方面，應該具有絕對的優(yōu)勢。一個物理長效和協議的長效，一個硬的問題一個軟的問題都是值得關注的問題。