你能想象嗎,未來有望實(shí)現(xiàn) “全系存儲(chǔ)”了!什么意思呢,就是利用光來記錄數(shù)據(jù)頁、玻璃作為介質(zhì)實(shí)現(xiàn)云上存儲(chǔ)。全息晶體可以填充密集的數(shù)據(jù),若想刪除數(shù)據(jù),只需用紫外光就能擦除,也太酷了吧!
這是微軟研究院的一項(xiàng)新研究,文摘菌找到了研究人員的博客,來看看他們是怎么描述的吧~
數(shù)據(jù)存儲(chǔ)一直是計(jì)算的一個(gè)重要原則,隨著云計(jì)算的大量增長(zhǎng),對(duì)云數(shù)據(jù)存儲(chǔ)的需求為重新回顧現(xiàn)有技術(shù)和開發(fā)新技術(shù)開辟了道路。據(jù)預(yù)測(cè),到 2024 年,每年將產(chǎn)生約 125ZB 的數(shù)據(jù),而以經(jīng)濟(jì)有效的方式存儲(chǔ)這些數(shù)據(jù)將是一個(gè)巨大的挑戰(zhàn)。
云也改變了微軟對(duì)計(jì)算和存儲(chǔ)的看法。在云計(jì)算中,服務(wù)被虛擬化。例如,在云數(shù)據(jù)存儲(chǔ)中,客戶購買的是存儲(chǔ)容量和訪問率,而不是物理存儲(chǔ)設(shè)備 (參見圖 1)。這種虛擬化為設(shè)計(jì)和優(yōu)化僅適用于云的技術(shù)提供了新的機(jī)會(huì)。這在存儲(chǔ)領(lǐng)域尤其有趣,因?yàn)楫?dāng)前所有的存儲(chǔ)介質(zhì)都是在前云時(shí)代創(chuàng)建的。云存儲(chǔ)為具有不同功能的新存儲(chǔ)設(shè)備提供了機(jī)會(huì),既可以補(bǔ)充微軟目前部署的現(xiàn)有存儲(chǔ)技術(shù),又可以解決云給存儲(chǔ)帶來的一些挑戰(zhàn)。
微軟研究院正在他們的光學(xué)云計(jì)劃中直面這些挑戰(zhàn),研究人員正在研究新的方法來改善存儲(chǔ)、計(jì)算和網(wǎng)絡(luò),通過匯集不同領(lǐng)域的技術(shù)專家來確定光學(xué)的新應(yīng)用。借助微軟在計(jì)算機(jī)系統(tǒng)和人工智能方面的專業(yè)知識(shí),研究人員看到了將光學(xué)物理學(xué)家和工程師聚集在一起,產(chǎn)生影響的真正機(jī)會(huì)。人工智能是這一領(lǐng)域中具有巨大潛力的交叉領(lǐng)域之一,在深度學(xué)習(xí)等領(lǐng)域它繼續(xù)快速進(jìn)展。特別在光存儲(chǔ)方面,研究人員對(duì)滿足云當(dāng)前和未來存儲(chǔ)需求的機(jī)會(huì)尤其感興趣。
圖 1:云存儲(chǔ)的現(xiàn)狀。對(duì)客戶來說,存儲(chǔ)成本是訪問速率和所需存儲(chǔ)容量的函數(shù)。在云內(nèi),使用相關(guān)的存儲(chǔ)技術(shù)對(duì)存儲(chǔ)服務(wù)進(jìn)行虛擬化和構(gòu)建,以向客戶交付所需的性能。虛擬化存儲(chǔ)模型為存儲(chǔ)技術(shù)提供了新的機(jī)會(huì),這些技術(shù)為現(xiàn)有存儲(chǔ)技術(shù)提供了新的和補(bǔ)充的特性。
在微軟劍橋研究院,研究人員與微軟 Azure 合作,一直在研究新的云優(yōu)先的光存儲(chǔ)技術(shù)。幾年來,在 Silica 項(xiàng)目中,研究人員一直在開發(fā)一種使用玻璃存儲(chǔ)介質(zhì)的光存儲(chǔ)技術(shù)。
在這項(xiàng)技術(shù)中,他們利用玻璃介質(zhì)的壽命制作寫一次讀多次 (WORM)的歸檔存儲(chǔ)。在最近的一篇熱存儲(chǔ)論文中,研究人員還談到了現(xiàn)有的存儲(chǔ)技術(shù)在云時(shí)代面臨的挑戰(zhàn),以及它給新存儲(chǔ)技術(shù)帶來的機(jī)遇——兩個(gè)特別的挑戰(zhàn)是增加存儲(chǔ)密度和訪問率。在這篇博客文章中,研究人員介紹了 HSD(全息存儲(chǔ)設(shè)備)項(xiàng)目,這是一個(gè)重新設(shè)想全息存儲(chǔ)如何在云時(shí)代被利用的新項(xiàng)目。
他們發(fā)現(xiàn),現(xiàn)在重新使用這項(xiàng)技術(shù)是特別有利的——在這個(gè)時(shí)代,云的影響力正在擴(kuò)大,與光學(xué)相關(guān)的商品組件已經(jīng)取得了很大的進(jìn)步,新的機(jī)器學(xué)習(xí)技術(shù)可以集成到這個(gè)過程中。到目前為止,在他們的工作中,已經(jīng)實(shí)現(xiàn)了比現(xiàn)有體積全息存儲(chǔ)技術(shù)高 1.8 倍的密度,并且研究人員正在進(jìn)一步努力提高密度和訪問速率。
“用全新的視角審視全息存儲(chǔ)這一古老的理念,并在云計(jì)算領(lǐng)域?qū)ζ溥M(jìn)行重新設(shè)想,在云計(jì)算領(lǐng)域,我們可以自由地在整個(gè)存儲(chǔ)堆棧上進(jìn)行創(chuàng)新,并從其他領(lǐng)域引入創(chuàng)意,使之成為一項(xiàng)可行的技術(shù),這非常令人興奮?!薄狟enn Thomsen,高級(jí)首席研究員。
全息存儲(chǔ)如何工作?
全息存儲(chǔ)利用光來記錄數(shù)據(jù)頁,每頁以晶體內(nèi)的微小全息圖的形式保存數(shù)百 k 字節(jié)的數(shù)據(jù)。全息圖在晶體中占據(jù)一個(gè)小體積,研究人員把它看作一個(gè)區(qū)域,在同一個(gè)物理體積或區(qū)域中可以記錄多個(gè)頁面。通過對(duì)記錄的全息圖進(jìn)行衍射并在相機(jī)上捕捉光脈沖,將數(shù)據(jù)頁讀出。這將重新構(gòu)造原始數(shù)據(jù)頁。記錄的全息圖可以用紫外光擦除,然后再使用介質(zhì)來存儲(chǔ)更多的全息圖——使其成為可重寫的存儲(chǔ)介質(zhì)。
相比之下,在 Silica 項(xiàng)目中用作存儲(chǔ)介質(zhì)的玻璃由于其壽命和一次性寫入的特性,適合長(zhǎng)期存檔存儲(chǔ)。全息存儲(chǔ)是熱、讀 / 寫云存儲(chǔ)的一個(gè)很好的候選,因?yàn)樗强芍貙懙模⑶揖哂锌焖僭L問率的潛力。
全息數(shù)據(jù)存儲(chǔ)的想法可以追溯到 20 世紀(jì) 60 年代。到 21 世紀(jì)初,學(xué)術(shù)界和工業(yè)界的幾個(gè)研究小組在展示全息存儲(chǔ)介質(zhì)所能達(dá)到的令人印象深刻的存儲(chǔ)密度方面取得了重大進(jìn)展。
為何重新利用全息存儲(chǔ)作為云存儲(chǔ)的一種解決方案?
在當(dāng)今的存儲(chǔ)解決方案中,訪問速率是一個(gè)痛點(diǎn)。Flash 存儲(chǔ)提供了很高的訪問率,但相對(duì)昂貴,而且許多云應(yīng)用程序?qū)?shù)據(jù)保存在硬盤驅(qū)動(dòng)器 (hdd)上。由于硬盤的機(jī)械特性,訪問這些數(shù)據(jù)的速度本來就比較慢。光學(xué)固有的并行性——并行讀寫多位的能力——一直是全息存儲(chǔ)最吸引人的特征之一。
這種并行性具有提供高數(shù)據(jù)吞吐量的潛力。此外,查找或?qū)ぶ凡煌捻撁嬷恍枰馐目刂疲恍枰笮蜋C(jī)械系統(tǒng)的移動(dòng)。通過使用電子設(shè)備,可以以比現(xiàn)有存儲(chǔ)設(shè)備 (如 hdd)更高的訪問速度實(shí)現(xiàn)這一點(diǎn)。在這種情況下,全息存儲(chǔ)有可能具有更低的查找延遲,因此,以成本效益的能力提供更高的訪問率。對(duì)于許多在訪問存儲(chǔ)時(shí)需要高訪問速率和低尾延遲的云應(yīng)用程序來說,這個(gè)特性特別有吸引力。
從頭開始為云設(shè)計(jì)存儲(chǔ)硬件也讓研究人員擺脫了用戶設(shè)備的限制,例如需要適應(yīng) 2.5 英寸或 3.5 英寸硬盤的形狀因素。云存儲(chǔ)中最小的部署單元是存儲(chǔ)機(jī)架,它允許以 “機(jī)架規(guī)?!痹O(shè)計(jì)新硬件,允許組件在整個(gè)機(jī)架上高效共享。
通過商用硬件和深度學(xué)習(xí)將全息存儲(chǔ)帶入當(dāng)今
“與一個(gè)真正的多學(xué)科團(tuán)隊(duì)的人一起工作,包括光學(xué)物理學(xué)家 , 電子工程師 , 機(jī)器學(xué)習(xí)專家 , 以及我的專業(yè)領(lǐng)域 , 存儲(chǔ)系統(tǒng) , 這真是鼓舞人心的工作。看看我們是否能最終破除來自構(gòu)建云全息存儲(chǔ)的挑戰(zhàn)以及釋放訪問速率的紅利。而這些是這項(xiàng)技術(shù)長(zhǎng)期的承諾?!薄狣ushyanth Narayanan,高級(jí)首席研究員
研究團(tuán)隊(duì)專注于同時(shí)實(shí)現(xiàn)密度和快速訪問率。他們已經(jīng)部署了最近開發(fā)的高功率光纖激光系統(tǒng),將讀寫時(shí)間減少一個(gè)數(shù)量級(jí),以支持高訪問率。他們還利用最近的高分辨率 LCOS 空間光調(diào)制器和相機(jī)的發(fā)展以增加密度,兩者分別來自顯示器產(chǎn)業(yè)和智能手機(jī)產(chǎn)業(yè)的發(fā)展的推動(dòng),特別是,高分辨率相機(jī)技術(shù)是關(guān)鍵,因?yàn)樗试S我們將復(fù)雜的光學(xué)硬件轉(zhuǎn)移到軟件上。
圖 2:過去 20 年,智能手機(jī)行業(yè)將普通相機(jī)的分辨率提高了 100 倍。在 HSD 項(xiàng)目中,研究人員利用這種分辨率來簡(jiǎn)化光學(xué)硬件,并將復(fù)雜性轉(zhuǎn)化為軟件。
在之前的技術(shù)水平,有必要使用復(fù)雜的光學(xué)來實(shí)現(xiàn)從顯示設(shè)備到相機(jī)的一對(duì)一像素匹配,以最大限度地提高密度。如今,研究人員可以利用普通的高分辨率相機(jī) (如圖 2所示)和現(xiàn)代深度學(xué)習(xí)技術(shù),將復(fù)雜性轉(zhuǎn)移到數(shù)字領(lǐng)域。這讓研究人員不用像素匹配就可以使用更簡(jiǎn)單、更便宜的光學(xué)設(shè)備,并用普通的硬件和軟件來補(bǔ)償由此產(chǎn)生的光學(xué)畸變。這種方法也降低了制造公差,因?yàn)橄到y(tǒng)可以在運(yùn)行時(shí)在軟件中進(jìn)行補(bǔ)償和校準(zhǔn)。利用這種高分辨率商品組件和深度學(xué)習(xí)的結(jié)合,已經(jīng)能夠?qū)⒋鎯?chǔ)密度提高 1.8 倍。
“看到團(tuán)隊(duì)如何在高分辨率圖像上利用機(jī)器學(xué)習(xí)去完成以前需要使用昂貴的光學(xué)設(shè)備才能完成或者根本無法達(dá)成的工作,推進(jìn)全息存儲(chǔ)性能超越當(dāng)前技術(shù)水平,令人無比興奮?!薄猄ebastian Nowozin,合作研究員
展望:規(guī)?;嫦蛟频墓獯鎯?chǔ)方案
盡管已經(jīng)看到在單個(gè)區(qū)域中可以獲得令人信服的寫入 / 讀取時(shí)間和存儲(chǔ)密度方面的性能,但使全息存儲(chǔ)適用于云的挑戰(zhàn)在于開發(fā)可通過增加區(qū)域數(shù)來擴(kuò)展存儲(chǔ)容量的方法,同時(shí)保持多區(qū)域具有相同的訪問速率。該領(lǐng)域中的先前方法只是機(jī)械地移動(dòng)了介質(zhì),但這太慢了。
為了解決這個(gè)問題,研究人員目前正在演示一種不需要機(jī)械移動(dòng)就能保持訪問速率的多區(qū)域方法。在 HSD 項(xiàng)目中,全息存儲(chǔ)的未來目標(biāo)是創(chuàng)造一種專為云量身定制的技術(shù),具有快速的訪問速率和大大超過其前輩的存儲(chǔ)密度。想要了解更多關(guān)于 HSD 項(xiàng)目和用于云研究的光學(xué),可查看 Azure CTO Mark Russinovich 在微軟 Ignite 2020 上的發(fā)言和項(xiàng)目頁面了解更多細(xì)節(jié)。
責(zé)任編輯:PSY
-
微軟
+關(guān)注
關(guān)注
4文章
6516瀏覽量
103602 -
光源
+關(guān)注
關(guān)注
3文章
672瀏覽量
67629 -
玻璃
+關(guān)注
關(guān)注
1文章
59瀏覽量
14789 -
光存儲(chǔ)技術(shù)
+關(guān)注
關(guān)注
0文章
4瀏覽量
2363
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論