2020年存儲技術(shù)展望：AI推動數(shù)據(jù)存儲理念進化

2020年以意想不到的方式在展開，讓人們愈發(fā)渴望AI的到來。

大家知道早在60年前，“人工智能”概念就正式提出。其發(fā)展曾經(jīng)歷了兩次低谷，這兩次低谷的原因一方面受質(zhì)于人工智能三個因素，算力、算法和數(shù)據(jù)的制約。一方面受制于ICT的發(fā)展，沒有實現(xiàn)數(shù)據(jù)的互聯(lián)互通，人工智能就如同無源之水。

而推動AI第三次的到來是算力的大幅提升、算法的不斷優(yōu)化以及數(shù)據(jù)的海量增長。

IDC預(yù)測，到2021年，75%的商用企業(yè)級應(yīng)用將使用AI；超過50%的消費者將享受機器人客服的服務(wù)，并且，50%以上的新型工業(yè)機器人將采用AI?？梢哉f人類正在向一個萬物感知、萬物互聯(lián)、萬物智能的世界進化。基于AI的推動，以數(shù)據(jù)為基礎(chǔ)的IT架構(gòu)在理念和技術(shù)上在不斷進化。

在云計算時代，大家關(guān)心的是數(shù)據(jù)上云。但是AI發(fā)展，讓大家看到數(shù)據(jù)不僅需要云上進行智能化處理，同時需要在設(shè)備邊緣端進行處理?；?a href="http://ttokpm.com/v/tag/1225/" target="_blank">5G，AI驅(qū)動的物聯(lián)網(wǎng)，需要邊緣設(shè)備具備AI計算和數(shù)據(jù)存儲。物聯(lián)網(wǎng)離不開云計算這樣的基礎(chǔ)設(shè)施，但是沒有邊緣側(cè)的低成本傳感器和AI應(yīng)用程序來構(gòu)建智能邊緣計算環(huán)境，對于物聯(lián)網(wǎng)需求的超低時延和靈活性、安全性需求就無從談起。那么融合5G、AI和云計算技術(shù)的生態(tài)就會發(fā)展之力不完整。

基于此，數(shù)據(jù)基礎(chǔ)設(shè)施的構(gòu)建正在顛覆

現(xiàn)在沒有一個人和應(yīng)用是孤立存在，所有任何機構(gòu)、組織和個人對于IT基礎(chǔ)架構(gòu)的需求正在顛覆重構(gòu)， 新的基礎(chǔ)設(shè)施要具備IT系統(tǒng)高級別的安全性和可靠性。要具備可擴展性，必須支持高可用性，并提供靈活性。所有的公有云、私有云和混合云的架構(gòu)以及集中式存儲、分布式存儲、超融合系統(tǒng)，在架構(gòu)上將趨于融合。而展現(xiàn)的方式就是對數(shù)據(jù)基礎(chǔ)設(shè)施的重構(gòu)進行。大道殊途，IBM、華為、戴爾、聯(lián)想、Hitachi等都在圍繞數(shù)據(jù)基礎(chǔ)設(shè)施進行戰(zhàn)略布局，雖然手段不同，但是戰(zhàn)略方向驚人相似。

IBM印象中一直是集中式的代表，但是下一代基礎(chǔ)設(shè)施的概念I(lǐng)BM很早就提出。IBM早在2017年就意識到AI的應(yīng)用需要下一代基礎(chǔ)設(shè)施來支撐，并意識到軟件定義存儲才是主力數(shù)據(jù)驅(qū)動基礎(chǔ)架構(gòu)的關(guān)鍵。

IBM逐步統(tǒng)一存儲軟件，到現(xiàn)在IBM Spectrum存儲軟件已經(jīng)有16款產(chǎn)品，產(chǎn)品覆蓋從存儲管理到數(shù)據(jù)保護到數(shù)據(jù)上云到AI管理。2019年IBM基于Modern 架構(gòu)，通過Z系列主機、 LinuxONE、存儲以及高性能計算打造的適應(yīng)多云環(huán)境的現(xiàn)代基礎(chǔ)架構(gòu)。而這個架構(gòu)中能夠?qū)崿F(xiàn)核心數(shù)據(jù)云、高密度整合云、混合數(shù)據(jù)云、異構(gòu)存儲云、綠色存儲云、Power云、人工智能云等多種云組合讓企業(yè)在云中漫步。

2018年華為推出AI戰(zhàn)略與全棧全場景AI解決方案。華為全棧全場景的AI解決方案，正在從理念到戰(zhàn)略、 從芯片到應(yīng)用、從面向消費者（HiAI），到面向企業(yè)（華 為云EI），一步一個腳印地來實現(xiàn)無所不及的智能。同時華為將AI技術(shù)與IT產(chǎn)品與解決方案深度融合，推出金融級的分布式數(shù)據(jù)庫，華為云FusionInsight大數(shù)據(jù)解決方案等。

在2019年華為提出要邁入智能時代，數(shù)據(jù)基礎(chǔ)設(shè)施要向極簡進化。華為IT產(chǎn)品線副總裁、智能數(shù)據(jù)與存儲領(lǐng)域總裁周躍峰認為華為談到的“極簡”是把簡單帶給別人、復(fù)雜留給自己。華為對下一代數(shù)據(jù)基礎(chǔ)設(shè)施的理念有三個。一是融合，今天絕大部分的數(shù)據(jù)存儲系統(tǒng)都有三套以上，生產(chǎn)交易場景的數(shù)據(jù)、數(shù)據(jù)湖場景的數(shù)據(jù)、以及越來越多的邊緣場景的數(shù)據(jù)。華為的理念是這些壁壘，打破數(shù)據(jù)庫、存儲、大數(shù)據(jù)的壁壘，同時實現(xiàn)邊緣智慧，引領(lǐng)邊云協(xié)同，既能實現(xiàn)生產(chǎn)力的提升也能實現(xiàn)數(shù)據(jù)價值。

第二個數(shù)據(jù)基礎(chǔ)設(shè)施要具備智能化，這方面華為基于AI昇騰的芯片，通過智能化，減少人工的干預(yù)以及數(shù)據(jù)管理方面的優(yōu)勢。比如AI能夠幫助在閃存方面需要數(shù)據(jù)壓縮，對于不同的數(shù)據(jù)壓縮的比率是不一樣的， AI針對不同的數(shù)據(jù)可以不同的算法、參數(shù)去做，這個就是從智能體現(xiàn)出來的極簡。實現(xiàn)整個數(shù)據(jù)基礎(chǔ)設(shè)施、整個的自動化的駕駛，從過去面向產(chǎn)品的設(shè)備轉(zhuǎn)向面向客戶的場景來自動化。

第三個極簡的表現(xiàn)是開放，華為希望合作伙伴就像用自家產(chǎn)品一樣，非常容易應(yīng)用到華為提供的核心應(yīng)用，比如可以把數(shù)據(jù)庫方便的遷移到這個數(shù)據(jù)基礎(chǔ)設(shè)施。

我們看到戴爾科技的整體戰(zhàn)略也在加速，圍繞戴爾科技邊緣到核心到云的整個產(chǎn)品線進行創(chuàng)新。首先基于VMware打造一個Dell Technologies cloud平臺來為企業(yè)提供數(shù)字化轉(zhuǎn)型的好工具。而在2019年最后一天，VMware宣布已經(jīng)完成27億美元收購云原生軟件公司Pivotal的交易，雖然VMware和Pivotal都是當時戴爾收購EMC的相關(guān)企業(yè)，但是都是獨立運營。此次收購讓戴爾科技向著在任何地方管理基礎(chǔ)設(shè)施的云計算服務(wù)提供商走進一步。相信2020年戴爾科技對于數(shù)據(jù)基礎(chǔ)設(shè)施的理解更深。

包括聯(lián)想也在變革，聯(lián)想基于數(shù)據(jù)智能驅(qū)動商業(yè)變革三大要素數(shù)據(jù)、計算力和算法提出3S戰(zhàn)略——智能物聯(lián)網(wǎng)設(shè)備（Smart IOT）、智能基礎(chǔ)架構(gòu)（Smart Infrastructure）以及行業(yè)智能（Smart Vertical）三大戰(zhàn)略。特別是圍繞智能基礎(chǔ)設(shè)施，聯(lián)想數(shù)據(jù)中心業(yè)務(wù)集團升級為聯(lián)想企業(yè)科技集團。童夫堯擔任聯(lián)想集團高級副總裁兼企業(yè)科技集團總裁，過去一年聯(lián)想一方面緊握拳頭產(chǎn)品，為企業(yè)提供智能計算力。在筆者看來，一方面超算作為算力的核心代表，也是聯(lián)想作為智能基礎(chǔ)設(shè)施的拳頭產(chǎn)品，聯(lián)想這方面保持優(yōu)勢，同時過去一年聯(lián)想和Netapp合作而成立的聯(lián)想凌拓，擴大聯(lián)想在存儲板塊的影響力?，F(xiàn)在存儲產(chǎn)品組合由過去夠覆蓋市場的15%，到現(xiàn)在可以覆蓋95%，外部存儲排名躍升第四位。

同時基于基于5G新業(yè)務(wù)打造市場新需求，在解決方案方面，圍繞智能制造、智慧城市、智慧醫(yī)療、智慧零售、智慧教育等場景，開發(fā)新型智能物聯(lián)網(wǎng)終端以及基于行業(yè)場景的一站式物聯(lián)網(wǎng)解決方案。打造定制化產(chǎn)品服務(wù)和包括超大規(guī)模數(shù)據(jù)中心、軟件定義數(shù)據(jù)中心、高性能計算、人工智能、基礎(chǔ)設(shè)施等一系列端到端解決方案。

同樣還有HDS，HDS在高端存儲一直處于領(lǐng)先地位。在2017年9月份， Hitachi集團宣布整合Hitachi Data Systems、Pentaho和Hitachi Insight Group三家公司成立的一個新公司Hitachi Vantara。其愿景是將Hitachi集團108年的運營技術(shù)（OT）和59年的信息技術(shù)（IT）經(jīng)驗、技術(shù)和行業(yè)經(jīng)驗完美結(jié)合在一起。通過不斷深化領(lǐng)域?qū)I(yè)知識為客戶帶來空前豐富的數(shù)據(jù)管理的能力，讓Hitachi Vantara成為業(yè)內(nèi)集分析、工業(yè)專業(yè)知識、技術(shù)和成果于一身的卓越軟件與解決方案提供商。

到了2019年，Hitachi Vantara除了為企業(yè)提供核心存儲平臺之外，已經(jīng)開始通過Pentaho來融合BI和大數(shù)據(jù)。通過AI、機器學(xué)習(xí)技術(shù)實現(xiàn)從數(shù)據(jù)抽取到數(shù)據(jù)湖的建立到數(shù)據(jù)挖掘分析。2020年初， Hitachi Vantara宣布與Hitachi Consulting完成整合，新公司致力于成為領(lǐng)先的數(shù)字基礎(chǔ)架構(gòu)和解決方案提供商。

三年來，新的Hitachi Vantara已經(jīng)集合了Hitachi Vantara在IT領(lǐng)域的深厚積淀和Hitachi Consulting以咨詢?yōu)橹鲗?dǎo)的領(lǐng)先數(shù)字化解決方案以及垂直行業(yè)經(jīng)驗。Hitachi Vantara將把優(yōu)質(zhì)、定制化、可持續(xù)的和新業(yè)務(wù)模型相關(guān)的咨詢方法論與數(shù)據(jù)驅(qū)動的解決方案（例如Lumada Manufacturing Insights）集成，以提供全面的實踐方案。Lumada Manufacturing Insights這一解決方案可打破數(shù)據(jù)孤島，并采用AI和機器學(xué)習(xí)技術(shù)來評估和提高設(shè)備整體有效性（OEE）。

我們也看到，AI時代，需要數(shù)據(jù)需要里計算更近

今天隨著數(shù)據(jù)的爆炸式增長，如人工智能、物聯(lián)網(wǎng)等新技術(shù)的成熟，人們對于數(shù)據(jù)處理的極高需求與底層存儲技術(shù)之間的不匹配感越來越強烈。數(shù)據(jù)增長的越多，在內(nèi)存和存儲上的數(shù)據(jù)堵塞越嚴重，人們愈發(fā)希望擴大內(nèi)存，在DRAM上存儲更多數(shù)據(jù)，同時需要保持低時延，不能和CPU的運算速度相差太遠。

海量數(shù)據(jù)時代，企業(yè)不僅面臨更復(fù)雜的數(shù)據(jù)處理需求，對于數(shù)據(jù)實時分析的需求也明顯增加。人們按照數(shù)據(jù)的訪問頻度把數(shù)據(jù)分為冷、溫、熱數(shù)據(jù)，其中經(jīng)常訪問的數(shù)據(jù)占全體數(shù)據(jù)總量的約10%，但人們通常需要花費90%的時間來訪問這10%的數(shù)據(jù)。這樣看來，一個理想的計算平臺，存儲之間需要通過分層，達到與CPU和內(nèi)存之間的容量和性能的平衡。因此，需要把頻繁訪問的數(shù)據(jù)向上移動靠近內(nèi)存、不經(jīng)常訪問的數(shù)據(jù)向下移動靠近SSD甚至于HDD。如果每個層級的容量能夠達到上一層級的10倍，同時性能只有十分之一，這樣每一層級都（自下而上）可以保留“更熱”的數(shù)據(jù)，使處理器實現(xiàn)快速訪問。

英特爾經(jīng)過幾年的布局，基于存儲級內(nèi)存傲騰技術(shù)來讓數(shù)據(jù)離計算越來越近，傲騰技術(shù)具備大容量和低延時特性，同時成本比內(nèi)存更低，這樣10%的熱數(shù)據(jù)放在傲騰持久內(nèi)存里來更好的提升整個數(shù)據(jù)中心系統(tǒng)。

浪潮作為全球領(lǐng)先的綜合云解決方案和服務(wù)提供商，提供全面的解決方案和服務(wù)。對于新技術(shù)采取了積極的態(tài)度，在中國市場推出了首款采用傲騰雙端口NVMe SSD的中端全閃存儲—AS5000G5-F系列，實現(xiàn)了高達800萬IOPS、0.1ms延時，是當前業(yè)界最高性能的中端存儲。對于浪潮的“智能計算”戰(zhàn)略來講，存儲的性能提升是實現(xiàn)數(shù)據(jù)離計算越來越近，讓AI更好賦能的有效手段。

中科曙光作為高性能計算領(lǐng)軍企業(yè)，認識到高性能計算對于AI應(yīng)用的作用，創(chuàng)新推出面向高性能計算、人工智能等多種應(yīng)用場景，兼顧性能、能效、應(yīng)用生態(tài)。采用浸沒式液體相變冷卻技術(shù)，實現(xiàn)全球領(lǐng)先的計算密度和節(jié)能性。整合曙光最新的高速網(wǎng)絡(luò)和存儲技術(shù)，實現(xiàn)超大規(guī)模線性擴展的新一代硅立方高性能計算，同時中科曙光XData大數(shù)據(jù)智能平臺、自主研發(fā)的存儲產(chǎn)品在智慧氣象、智慧水務(wù)、智慧銀行等行業(yè)也積極推動。

AI時代，數(shù)據(jù)管理比以往更重要

AI時代，終端、邊緣、混合云、私有云和公有云之間的數(shù)據(jù)流，數(shù)據(jù)安全和保護比以往任何時候都更為重要。同時數(shù)據(jù)的復(fù)雜性讓數(shù)據(jù)管理軟件越來越受到市場的重視。2020年1月9日，數(shù)據(jù)管理市場就發(fā)生了一起巨額收購，美國著名的軟件投資方Insight Partners宣布50億美元收購云數(shù)據(jù)管理備份解決方案的領(lǐng)導(dǎo)者Veeam Software。此次收購除了全球布局之外，另一個原因是Veeam是由俄羅斯人創(chuàng)立的，收購之后可以更好的服務(wù)美國數(shù)據(jù)恢復(fù)和保護市場，因為美國市場占到全球50%以上，Veeam成為美國公司可以更好的擴展美國業(yè)務(wù)。

同時中國數(shù)據(jù)管理管理廠商也在積極走出海外，愛數(shù)打造的全棧超可用災(zāi)備云AnyBackup在2019年已經(jīng)為22個國家提供災(zāi)備服務(wù)。在中國企業(yè)積極走出海外的同時，國際公司也在積極為中國市場提供服務(wù)，戴爾科技旗艦級數(shù)據(jù)保護軟件Dell EMC Avamar Virtual Edition （AVE）2020年已經(jīng)支持AWS中國北京區(qū)域和寧夏區(qū)域，以及Azure中國在內(nèi)的多云環(huán)境。保護云中重要應(yīng)用，用戶將獲得經(jīng)濟高效的云端備份解決方案，數(shù)據(jù)在云上和本地數(shù)據(jù)中心之間復(fù)制實現(xiàn)容災(zāi)。

當然我們也看到，新技術(shù)不是一蹴而就的進行變化。而是新技術(shù)和現(xiàn)有技術(shù)不斷迭代的變化。每一年公有云是否替代私有云、閃存什么時候替代硬盤等討論從沒有停止。早在2010年代的時候，很多人預(yù)測10年后，公有云肯定替代私有云，也有很多人都說5年后，閃存會替代磁盤。但是現(xiàn)實發(fā)展很理性，公有云與私有云并存，閃存和磁盤并存。因為歷史的數(shù)據(jù)很多都存儲在歷史的設(shè)備里。當然我們也看到存儲的趨勢，閃存存儲在消費級領(lǐng)域已經(jīng)全面超過磁盤存儲。企業(yè)數(shù)據(jù)存儲，在未來很長一段時間將是閃存和磁盤共存。

IDC預(yù)測2025年全球生成的數(shù)據(jù)為175ZB，而2019年全球生成的數(shù)據(jù)為41ZB。這些數(shù)據(jù)的存儲需要不同介質(zhì)設(shè)備將繼續(xù)滿足日益增長的數(shù)據(jù)存儲需求。硬盤和閃存都在滿足這一需求。提供實際數(shù)據(jù)的HDD是承載數(shù)據(jù)海洋必不可少的。而閃存用于在數(shù)據(jù)庫中定位數(shù)據(jù)或建立索引。應(yīng)用和相關(guān)服務(wù)的持續(xù)增長意味著這兩種存儲類型的數(shù)量都將增長。

在西部數(shù)據(jù)，希捷，東芝這三家大型硬盤供應(yīng)商里，TrendForce報告，希捷的硬盤出貨量達到了3150萬，同比下降14％，西部數(shù)據(jù)出貨量約為2935萬，年同比下降3％，東芝硬盤出貨量約1635萬，年同比下降20％。但是近線存儲硬盤產(chǎn)量達到1500萬，年同比增長41％；近線存儲指的是數(shù)據(jù)訪問量頻次不高，但是不知道何時會突然用到的數(shù)據(jù)。目前主要是大容量的機械硬盤。

雖然2019年硬盤出貨量大幅度下降，但是按照硬盤容量的銷售來看，還是處于歷史高水平。希捷2020年最新財報就顯示，隨著大容量存儲方案需求的提升，第一財季EB出貨量接近創(chuàng)記錄水平。希捷正在增加業(yè)界16TB硬盤的出貨量，以滿足強勁的客戶需求。

于此同時，閃存的市場并沒有想象的那么順利。據(jù)Gartner發(fā)布的報告，占有全球4成的存儲器市場份額，存儲器占到其半導(dǎo)體業(yè)務(wù)的8成以上的三星電子業(yè)績下滑達29%，跌至行業(yè)第二。主要要原因是在2017-2018年由于數(shù)據(jù)中心的建設(shè)需求擴大等因素，閃存市場經(jīng)歷了一個黃金期，各個閃存公司的增產(chǎn)等導(dǎo)致2019年閃存市場供大于求。特別是2019年以后隨著中國公司加入存儲芯片市場，長期來閃存市場依然是供過于求。

時間拉長來看，人工智能的到來對于數(shù)據(jù)基礎(chǔ)設(shè)施的改變正在加速進行。新的時代，是需要更高算力、更智能的芯片、更靈活的存儲。同時整個市場也呈現(xiàn)了百花齊放的狀態(tài)。數(shù)據(jù)基礎(chǔ)設(shè)施將圍繞包括X86、ARM、GPU、NPU等計算平臺展開。海量的數(shù)據(jù)將圍繞包括DRAM、3DXPOINT、NVME、3D NAND、大容量磁盤等存儲設(shè)備展開。在這樣的變化下，算力、數(shù)據(jù)接入、數(shù)據(jù)存儲、數(shù)據(jù)處理以及數(shù)據(jù)使能都需要重定義，來真正讓智能技術(shù)融入到數(shù)據(jù)基礎(chǔ)設(shè)施中，來真正釋放數(shù)據(jù)價值。