人工智能技術將極大地改變各行各業(yè)的面貌,企業(yè)級存儲領域也是這樣。
近幾年,存儲領域最火的軟件定義存儲、智能存儲等概念背后,都有一個關鍵詞——智能化。原因就在于,越來越多的企業(yè)已經意識到,相比擁有數據而言,善于利用數據、從數據中獲取價值,才是真正的競爭優(yōu)勢。
2019年下半年,IBM發(fā)布了一系列面向AI與大數據、現代數據保護的新一代軟件定義存儲產品,致力于借助AI技術,跨越時空幫企業(yè)管好數據。
未來企業(yè)級存儲的挑戰(zhàn)是什么?什么是新一代軟件定義存儲?IBM存儲的優(yōu)勢和策略又是什么?帶著以上這些問題,趣味科技于近日采訪了IBM副總裁、大中華區(qū)系統(tǒng)部總經理侯淼和IBM大中華區(qū)系統(tǒng)部存儲系統(tǒng)總經理吳磊。
IBM副總裁、大中華區(qū)系統(tǒng)部總經理侯淼
新挑戰(zhàn):當數據活得越來越久
“數據的發(fā)展有兩大趨勢:一個是數據越來越多,也就是大家都熟悉的數據大爆炸;還有一個維度,就是數據的生命周期正在變得越來越長。”IBM副總裁、大中華區(qū)系統(tǒng)部總經理侯淼表示。
如果按使用頻率劃分,數據可以用一張冰山圖來表示。露出水面的冰山一角是一級存儲(Primary Storage),針對熱數據和溫數據,比如需要高IOPs、低時延、高性能計算分析的實時數據。冰山的水下部分是二級存儲(Secondary Storage),針對冷數據,比如用于歸檔、備份的數據、媒體與圖像資料庫、物聯網數據等。有數據統(tǒng)計,二級存儲約占企業(yè)存儲的70%。
隨著信息安全法規(guī)和金融、醫(yī)療等行業(yè)不斷加強數據監(jiān)管,企業(yè)對數據留存時間的要求越來越高,水面之下的冰山部分越來越大。2016年《反恐法》規(guī)定,重要場所視頻監(jiān)控圖像保持期限不得少于90天。銀監(jiān)會規(guī)定,理財產品的數據要在結束后的2年內進行保留歸檔。一些能源制造企業(yè),在生產環(huán)境下要求對數據有五年、十年,甚至數十年的保存。
數據爆炸與周期變長的疊加,以及AI和大數據進入生產環(huán)境,都在不斷推高企業(yè)對數據存儲的要求。IBM大中華區(qū)系統(tǒng)部存儲系統(tǒng)總經理吳磊認為,企業(yè)級存儲面臨的新挑戰(zhàn)表現在多個方面:
首先,人工智能、大數據技術已經從POC(概念驗證)環(huán)節(jié)進入生產環(huán)節(jié)。在全新的應用場景中,海量數據正源源不斷涌現。多元數據的攝取,準備的周期非常長。
其次,越來越多的企業(yè)選擇混合多云的環(huán)境部署業(yè)務,如何把傳統(tǒng)數據中心,傳統(tǒng)應用,不同云環(huán)境等不同IT環(huán)境的數據打通是個大挑戰(zhàn)。同時,面對不同架構多災備的數據副本,如何保證數據單一的真實性來源也是痛點。
第三,如何保護數據在更長久周期內的可用、可回溯性、可審計性。
IBM大中華區(qū)系統(tǒng)部存儲系統(tǒng)總經理吳磊
如何解決這些新挑戰(zhàn)?IBM將存儲產品從功能上劃分為兩大維度,一個是數據存儲,一個是數據訪問。數據存儲方面,IBM追求跨越時空和性價比。即使數據容量漲得很快,也能保持企業(yè)的IT投資處在合理水平。在數據訪問方面,強調用AI技術打造從數據獲取價值的極速管道。
“IBM是全球存儲產品最豐富的公司。IBM存儲分為四大部分:第一,storage for multi hybrid cloud,面向混合多云環(huán)境的存儲構架;第二,Storage for AI and Big Data,針對人工智能和大數據的存儲;第三,Modern Data Protection,圍繞我們Spectrum Protection和Protection Plus軟件系統(tǒng)的現代數據保護;第四,Storage for Z,與主機結合的存儲。”侯淼介紹。
新管道:如何加速AI燃料充分“燃燒”?
在算法、算力、數據三要素中,數據是AI的燃料。反過來,“AI的關鍵是將數據轉變?yōu)樯a力。”吳磊指出。
然而,在傳統(tǒng)存儲架構下,從數據到生產力的管道卻經常堵塞。比如在不同介質、異構架構的元數據源攝取上,如果無法做到全球范圍、快速數據攝取和實時分析,有再好的CPU、GPU、FPGA也無法發(fā)揮數據價值。再比如,在數據分類與元數據標注上,數據的攝取、準備的周期非常長,極大影響了AI模型訓練的效率。也就是說,數據從入口進來的太慢,已經成為AI技術落地的一個瓶頸。
IBM本次發(fā)布了端到端的NVMe解決方案IBM Elastic StorageSystem 3000(ESS 3000)以及元數據管理軟件IBM Spectrum Discover,專為人工智能和大數據工作負載打造。二者的組合打通了數據攝取、分類標注、數據分析、數據訓練在內的高速管道,打造了適用于任何高I/O吞吐的生產級人工智能大數據分析平臺。
ESS 3000被稱為“為AI和大數據實現快速、高度可擴展存儲部署的最簡單方法”。ESS 3000的核心優(yōu)勢可以用高性能、高擴展、簡單部署來概括。
首先,ESS 3000采用NVMe閃存存儲,每個2U構建塊可提供40GB/s的吞吐量。順序讀取性能最高可達42GB/s,順序寫入性能最高可達32GB/s。
其次,ESS 3000的核心技術是IBM Spectrum Scale。IBM Spectrum Scale是IBM經歷多年企業(yè)級生產環(huán)境驗證的并行文件存儲系統(tǒng),其代碼迭代超過20年。從名字可以看出,IBM Spectrum Scale的無縫擴展功能可以應對海量非結構化數據的增長。
第三,ESS 3000透過容器化技術把IBM Spectrum Scale封裝在全閃存設備中,帶來開箱即用的簡單部署。企業(yè)部署時間可以從原來的數天降低到幾個小時。
元數據管理軟件IBM Spectrum Discover能夠對規(guī)模級數據快速識別、分類,可以快速攝入、合并數十億個文件和對象的元數據并對其進行索引處理。IBM Spectrum Discover的作用在于幫助數據科學家、數據管理者高效管理海量非結構化數據,從數據中快速挖掘價值。
此外,在智能化存儲管理方面,IBM Spectrum Control可以借助AI技術自動化進行存儲性能、安全性的監(jiān)控和分析,并與IBM成熟的存儲管理經驗公式進行比照,為客戶提供預測性故障分析。
老傳統(tǒng):跨越時空幫企業(yè)管好數據
提到能夠跨越時空的物質,很多人會想到石頭。“一顆恒久遠”的鉆石就是石頭。小說《三體》中,云天明把幾行字刻在石頭上,過了1800萬年之后還能被程心看到。
在時間維度上,當數據的壽命越來越長,企業(yè)必然希望數據能夠長久保存,磁帶這一種傳統(tǒng)的存儲方式煥發(fā)出了新的活力。很多人以為磁帶技術早已淘汰過時,吳磊舉了一個簡單的例子說明磁帶保存數據的長期性和可靠性。
一家全球的科研機構,在幾年前要把過去十年存儲在磁帶上的數據梳理一遍。這些帶子總共幾萬盤,總長度2200萬米。除了200多米長的數據讀不出來,其他數據都完好無缺。
相比只能保存2-3年的硬盤,保存十年卻只有大約十萬分之一的損壞率,足以說明磁帶存儲的經久耐用。而且斷裂的磁帶可以重新接上進行修復,而硬盤類存儲一旦損壞數據就全部找不回來。在成本上,磁帶存儲比硬盤便宜80%-90%左右。對于海量歸檔、備份屬性的二級存儲數據,磁帶存儲是更可靠、更便宜、壽命更長、更安全(隔離網絡,天然防止黑客攻擊)的解決方案。
吳磊介紹,作為全球僅有的幾家具備磁帶存儲解決方案的企業(yè),IBM也在不斷升級磁帶技術。IBM不但將磁帶密度越做越高,還通過磁帶文件系統(tǒng)IBM Spectrum Archive,實現了軟件定義的磁帶解決方案,可以對磁帶數據智能回溯,方便調取歷史數據。目前,IBM的磁帶存儲在電視臺、網絡音頻、視頻公司都有廣泛使用。
在空間維度上,IBM存儲針對混合多云的環(huán)境打造了跨數據中心和云的統(tǒng)一存儲管理。IBM Spectrum Scale可將閃存、磁盤、云和磁帶存儲合并到一個統(tǒng)一的系統(tǒng)之中,實現規(guī)?;臄祿芾怼BM Spectrum Discover可輕松連接至內部環(huán)境和云環(huán)境中的多個文件與對象存儲系統(tǒng)。在數據保護方面,IBM Spectrum Protect Plus是專為混合多云環(huán)境而設計的一體化數據保護解決方案,可以快速恢復 VM、數據庫、應用和容器。
此外,SVC(SAN Volume Controller)可以利用IBM Spectrum Virtualize for Public Cloud的廣泛功能,簡化多云解決方案,實現異構存儲全面云化。IBM第二代對象存儲COS(Cloud Object Storage)采用標準的S3接口,可以無縫訪問本地和云端的對象存儲。
在交付方式上,IBM為企業(yè)提供一體機和純軟件交付靈活組合的方式??梢哉f,在新的存儲挑戰(zhàn)下,IBM用實力詮釋了新一代軟件定義存儲的概念。同時也體現了IBM存儲的三大優(yōu)勢:現代化,現代化基礎架構下,不斷迭代推出更新的閃存技術;敏捷,在混合多云環(huán)境下做到容器化的封裝,靈活可擴展,極簡部署;安全,更長周期的數據存儲和更可靠的數據保護。
“數據是客戶唯一的唯一,我們的工作就是跨越時空,把客戶針對數據所有的事情做好,做扎實?!眳抢趶娬{。
評論
查看更多