AI大模型對(duì)數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展趨勢(shì)

AI大模型已超出人類想象的速度，將我們帶入智能世界。算力、算法、數(shù)據(jù)構(gòu)成了AI的三要素。算力、算法是AI大模型時(shí)代的工具，數(shù)據(jù)的規(guī)模和質(zhì)量才真正決定了AI智能的高度。數(shù)據(jù)存儲(chǔ)將信息變?yōu)檎Z料庫、知識(shí)庫，正在和計(jì)算一起成為最重要的AI大模型基礎(chǔ)設(shè)施。

本文來自“《邁向智能世界白皮書2023版（合集）》”。高可靠、高性能、共享的數(shù)據(jù)存儲(chǔ)，成為以Oracle為代表的數(shù)據(jù)庫的最佳數(shù)據(jù)基礎(chǔ)設(shè)施。面向未來，對(duì)企業(yè)數(shù)據(jù)存儲(chǔ)進(jìn)行了如下展望：

AI大模型將AI帶入新的發(fā)展階段。AI大模型需要更高效的海量原始數(shù)據(jù)收集和預(yù)處理，更高性能的訓(xùn)練數(shù)據(jù)加載和模型數(shù)據(jù)保存，以及更加及時(shí)和精準(zhǔn)的行業(yè)推理知識(shí)庫。以近存計(jì)算、向量存儲(chǔ)為代表的AI數(shù)據(jù)新范式正在蓬勃發(fā)展。

大數(shù)據(jù)應(yīng)用經(jīng)歷了歷史信息統(tǒng)計(jì)、未來趨勢(shì)預(yù)測(cè)階段，正在進(jìn)入輔助實(shí)時(shí)精準(zhǔn)決策、智能決策階段。以近存計(jì)算為代表的數(shù)據(jù)新范式，將大幅提升湖倉一體大數(shù)據(jù)平臺(tái)的分析效率。

以開源為基礎(chǔ)的分布式數(shù)據(jù)庫，正在承擔(dān)越來越關(guān)鍵的企業(yè)應(yīng)用，新的分布式數(shù)據(jù)庫+共享存儲(chǔ)的高性能、高可靠架構(gòu)正在形成。

多云成為企業(yè)數(shù)據(jù)中心新常態(tài)，企業(yè)自建數(shù)據(jù)中心和公有云形成有效互補(bǔ)。云計(jì)算的建設(shè)模式從封閉全棧走向開放解耦，從而實(shí)現(xiàn)應(yīng)用多云部署、數(shù)據(jù)/資源集中共享。

AI大模型應(yīng)用聚集海量企業(yè)私域數(shù)據(jù)，數(shù)據(jù)安全風(fēng)險(xiǎn)劇增。構(gòu)建包括存儲(chǔ)內(nèi)生安全在內(nèi)的完整數(shù)據(jù)安全體系，迫在眉睫。

AI大模型推動(dòng)數(shù)據(jù)中心的計(jì)算、存儲(chǔ)架構(gòu)從以CPU為中心走向以數(shù)據(jù)為中心，新的系統(tǒng)架構(gòu)、生態(tài)正在重新構(gòu)建。

AI技術(shù)正在越來越多地融入在數(shù)據(jù)存儲(chǔ)產(chǎn)品及其管理，從而大幅改善數(shù)據(jù)基礎(chǔ)設(shè)施的SLA水平。

1、AI大模型

AI的發(fā)展遠(yuǎn)超過預(yù)期，2022年末，當(dāng)OpenAI發(fā)布ChatGPT時(shí)，沒有人能想到，AI大模型接下來將為人類社會(huì)帶來歷史性變革。

簡(jiǎn)單來說，AI大模型時(shí)代的到來，存儲(chǔ)作為數(shù)據(jù)的關(guān)鍵載體，需要在三個(gè)方面演進(jìn)，即海量非結(jié)構(gòu)化數(shù)據(jù)的治理、10倍的性能提升、存儲(chǔ)內(nèi)生安全。在滿足EB級(jí)海量擴(kuò)展性的基礎(chǔ)之上，需要滿足百GBps級(jí)的帶寬和千萬級(jí)IOPS，實(shí)現(xiàn)10倍以上的性能提升。

企業(yè)在使用AI大模型、HPC、大數(shù)據(jù)時(shí)均需要豐富的原始數(shù)據(jù)，它們的來源是相同的，均是企業(yè)所積累的生產(chǎn)交易數(shù)據(jù)、科研實(shí)驗(yàn)數(shù)據(jù)和用戶行為數(shù)據(jù)。因此，大模型采用和HPC、大數(shù)據(jù)同源的建設(shè)模式是最經(jīng)濟(jì)高效的，實(shí)現(xiàn)一份數(shù)據(jù)在不同環(huán)境中協(xié)同工作。

全閃存存儲(chǔ)將帶來性能大幅提升，加快AI大模型開發(fā)落地的速度；以數(shù)據(jù)為中心的架構(gòu)可以帶來硬件資源的解耦與互聯(lián)，加速數(shù)據(jù)的按需流動(dòng)；數(shù)據(jù)編織、向量存儲(chǔ)與近存計(jì)算等新興數(shù)據(jù)處理技術(shù)，將最大程度降低企業(yè)整合數(shù)據(jù)、使用數(shù)據(jù)的門檻，滿足資源的高效利用，降低行業(yè)接入AI大模型的難度；存儲(chǔ)內(nèi)生安全體系將保護(hù)企業(yè)核心私密數(shù)據(jù)資產(chǎn)，讓企業(yè)更加放心地使用AI大模型。

2、大數(shù)據(jù)

大數(shù)據(jù)應(yīng)用的發(fā)展可以描述為傳統(tǒng)數(shù)據(jù)應(yīng)用、預(yù)測(cè)分析和主動(dòng)決策三個(gè)階段。

傳統(tǒng)數(shù)據(jù)倉庫時(shí)代：企業(yè)通過數(shù)據(jù)倉庫構(gòu)建面向主題的、可隨時(shí)間變化的數(shù)據(jù)集合，從而實(shí)現(xiàn)對(duì)歷史數(shù)據(jù)進(jìn)行準(zhǔn)確的描述和統(tǒng)計(jì)，為分析決策服務(wù)，但僅能處理TB級(jí)結(jié)構(gòu)化數(shù)據(jù)。

傳統(tǒng)數(shù)據(jù)湖時(shí)代：企業(yè)使用Hadoop技術(shù)構(gòu)建數(shù)據(jù)湖，處理結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，實(shí)現(xiàn)基于歷史數(shù)據(jù)預(yù)測(cè)未來的發(fā)展趨勢(shì)。這個(gè)階段形成了數(shù)據(jù)湖和數(shù)據(jù)倉庫并存的“煙囪”架構(gòu)，數(shù)據(jù)需要在數(shù)據(jù)湖和數(shù)據(jù)倉庫之間流轉(zhuǎn)，因而無法實(shí)現(xiàn)實(shí)時(shí)決策、主動(dòng)決策。

湖倉一體時(shí)代：企業(yè)開始嘗試從IT堆棧優(yōu)化上尋找實(shí)時(shí)決策、主動(dòng)決策解決方案，將大數(shù)據(jù)平臺(tái)快速推向湖倉一體的新架構(gòu)。其核心舉措是與存儲(chǔ)廠商聯(lián)合創(chuàng)新，將大數(shù)據(jù)IT堆棧存算解耦，以數(shù)據(jù)湖存儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)湖和數(shù)據(jù)倉庫共享同一份數(shù)據(jù)，無需在數(shù)據(jù)湖和數(shù)據(jù)倉庫間進(jìn)行數(shù)據(jù)流轉(zhuǎn)，從而實(shí)現(xiàn)實(shí)時(shí)、主動(dòng)決策。

3、分布式數(shù)據(jù)庫

開源數(shù)據(jù)庫MySQL和PostgreSQL占據(jù)全球數(shù)據(jù)庫市場(chǎng)格局TOP2。開源數(shù)據(jù)庫正在重構(gòu)企業(yè)核心系統(tǒng)。同時(shí)為確保業(yè)務(wù)平穩(wěn)運(yùn)行，分布式數(shù)據(jù)庫存算分離架構(gòu)正在成為事實(shí)標(biāo)準(zhǔn)。

目前，全球主要銀行均已通過存算分離架構(gòu)分布式數(shù)據(jù)庫建設(shè)新核心系統(tǒng)，亞馬遜Aurora、阿里PolarDB、華為GaussDB、騰訊TDSQL等主要新型數(shù)據(jù)庫廠商均已將其架構(gòu)轉(zhuǎn)向存算分離，存算分離架構(gòu)已經(jīng)成為分布式數(shù)據(jù)庫建設(shè)的事實(shí)標(biāo)準(zhǔn)。

4、云原生

企業(yè)云計(jì)算基礎(chǔ)設(shè)施已經(jīng)從單云走向多云。不論哪一朵云都無法同時(shí)滿足企業(yè)所有對(duì)應(yīng)用與成本的訴求。因此，89%的企業(yè)選擇建設(shè)多個(gè)公有云和私有云并存的多云IT架構(gòu)。

目前基礎(chǔ)設(shè)施面向多云打造的關(guān)鍵能力大致可分為兩類。第一類是使能數(shù)據(jù)跨云流動(dòng)，如華為和NetApp存儲(chǔ)支持?jǐn)?shù)據(jù)跨云分級(jí)、跨云備份能力，使數(shù)據(jù)始終使用性價(jià)比最高的存儲(chǔ)服務(wù)；另一類是數(shù)據(jù)跨云管理，讓用戶通過全局?jǐn)?shù)據(jù)視圖把握數(shù)據(jù)總體情況，并將數(shù)據(jù)調(diào)度到產(chǎn)生價(jià)值最大的應(yīng)用中。

企業(yè)采用開放解耦架構(gòu)建設(shè)，讓硬件資源可被多個(gè)云共享，數(shù)據(jù)可在多個(gè)云間按需流動(dòng)，方可真正發(fā)揮多云架構(gòu)優(yōu)勢(shì)。

從硬件、平臺(tái)到應(yīng)用，最優(yōu)的服務(wù)往往來自不同供應(yīng)商，因此通過開放解耦的建設(shè)方式企業(yè)能搭建最優(yōu)的IT堆棧。以AI為例。當(dāng)前市面上最為火熱的AI大模型供應(yīng)商，如openAI、Meta等，其硬件基礎(chǔ)設(shè)施能力遠(yuǎn)不如NVIDIA、DDN、華為等IT巨頭。沒有任何一個(gè)廠商能夠提供端到端的最優(yōu)AI訓(xùn)練/推理方案，因此企業(yè)在搭建自己的AI訓(xùn)練/推理集群時(shí)，會(huì)選擇開放解耦的架構(gòu)，選擇最優(yōu)的硬件和訓(xùn)練/推理模型。

5、非結(jié)構(gòu)化數(shù)據(jù)

隨著5G、云計(jì)算、大數(shù)據(jù)、AI、高性能數(shù)據(jù)分析（HPDA）等新技術(shù)、新應(yīng)用的蓬勃發(fā)展，企業(yè)非結(jié)構(gòu)化數(shù)據(jù)快速增長(zhǎng)，如視頻，語音，圖片，文件等，容量正在從PB到EB級(jí)跨越。例如，一臺(tái)基因測(cè)序儀每年產(chǎn)生數(shù)據(jù)達(dá)到8.5PB，某運(yùn)營(yíng)商集團(tuán)每天平均處理數(shù)據(jù)量達(dá)到15PB，一顆遙感衛(wèi)星每年采集數(shù)據(jù)量可以達(dá)到18PB，一輛自動(dòng)駕駛訓(xùn)練車每年產(chǎn)生訓(xùn)練數(shù)據(jù)達(dá)到180PB。

首先需要讓數(shù)據(jù)“存得下”：以最低的成本、最小的機(jī)房空間、最低的功耗存下更多的數(shù)據(jù)。

其次要讓數(shù)據(jù)在都要“流得動(dòng)”：數(shù)據(jù)中心間和數(shù)據(jù)中心內(nèi)的數(shù)據(jù)需要根據(jù)策略按需高效流動(dòng)。

最后還需要讓數(shù)據(jù)“用得好”：企業(yè)的視頻、音頻、圖片、文本等多種混合負(fù)載應(yīng)用都能滿足要求。

6、存儲(chǔ)內(nèi)生安全

數(shù)據(jù)作為AI的根基，其重要性進(jìn)一步凸顯，數(shù)據(jù)的安全就是企業(yè)核心資產(chǎn)的安全。據(jù)splunk公司發(fā)布的《2023年安全現(xiàn)狀報(bào)告》顯示，超過52%的組織遭受了惡意攻擊導(dǎo)致數(shù)據(jù)泄露，66%的機(jī)構(gòu)遭受勒索軟件攻擊，數(shù)據(jù)安全的重要性正在不斷上升。

數(shù)據(jù)在產(chǎn)生、采集、傳輸、使用、銷毀的全生命周期處理過程中始終離不開存儲(chǔ)設(shè)備。存儲(chǔ)作為數(shù)據(jù)的最終載體，數(shù)據(jù)的“保險(xiǎn)箱”，擁有近數(shù)據(jù)的保護(hù)能力，近介質(zhì)的控制能力，在數(shù)據(jù)安全防護(hù)、數(shù)據(jù)備份與恢復(fù)、數(shù)據(jù)安全銷毀等領(lǐng)域有不可替代的作用。

存儲(chǔ)內(nèi)生安全體系通過先天的架構(gòu)與設(shè)計(jì)，不斷增強(qiáng)存儲(chǔ)的安全能力，包含兩個(gè)方面：存儲(chǔ)設(shè)備自身的安全能力、存儲(chǔ)的數(shù)據(jù)安全防護(hù)能力。

7、全場(chǎng)景閃存

根據(jù)市場(chǎng)統(tǒng)計(jì)到2022年，SSD的市場(chǎng)份額和出貨數(shù)量已經(jīng)是機(jī)械盤的2倍以上，占比超過了65%。我們有理由相信企業(yè)正在迎來全面閃存化的時(shí)代。

企業(yè)級(jí)?SSD?的核心組成部分——NAND顆粒，很大程度上決定其成本。而3D NAND堆疊層數(shù)升級(jí)與QLC顆粒的應(yīng)用，推動(dòng)全閃存物料成本不斷降低。目前，主流顆粒廠商量產(chǎn)的3DNAND顆粒堆疊層數(shù)已經(jīng)達(dá)到176L，并紛紛給出200層以上設(shè)計(jì)路標(biāo)，比2018年提升接近2倍。除了堆疊層數(shù)，在顆粒類型方面，TLC顆粒已經(jīng)成為企業(yè)級(jí)SSD主流選擇，QLC SSD也已登上舞臺(tái)。

更多SSD內(nèi)容，參考“2023年計(jì)算機(jī)SSD固態(tài)硬盤詞條報(bào)告”，“企業(yè)級(jí)SSD技術(shù)和行業(yè)發(fā)展（匯總）?”、“《中國(guó)企業(yè)級(jí)SSD行業(yè)技術(shù)合集》”、“《SSD技術(shù)白皮書系列》”和“《SSD介質(zhì)技術(shù)》”。

8、以數(shù)據(jù)為中心的架構(gòu)

近年來，AI和實(shí)時(shí)大數(shù)據(jù)分析應(yīng)用蓬勃發(fā)展，以CPU為主的算力向CPU+GPU+NPU+DPU的多樣化算力發(fā)展。

未來，隨著AI、大數(shù)據(jù)等應(yīng)用更高的性能時(shí)延要求、CPU性能增速放緩，在服務(wù)器架構(gòu)演進(jìn)為Composable架構(gòu)的同時(shí)，存儲(chǔ)架構(gòu)也將演進(jìn)為以數(shù)據(jù)為中心的Composable架構(gòu)，從而大幅提升存儲(chǔ)系統(tǒng)的性能。存儲(chǔ)系統(tǒng)的多樣化處理器（CPU、DPU）、內(nèi)存池、閃存池、容量盤池，將通過新型數(shù)據(jù)總線互聯(lián)，從而實(shí)現(xiàn)數(shù)據(jù)進(jìn)入存儲(chǔ)系統(tǒng)之后可以直接存放至內(nèi)存或閃存，避免CPU成為數(shù)據(jù)訪問的瓶頸。

9、AI賦能存儲(chǔ)

基于傳統(tǒng)AI實(shí)現(xiàn)性能、容量、備件故障等趨勢(shì)提前預(yù)測(cè)，降低異常發(fā)生概率；在復(fù)雜的異常處理場(chǎng)景，存儲(chǔ)管理系統(tǒng)可基于AI大模型快速強(qiáng)化交互邏輯，輔助人工快速定位問題，從而大幅縮短故障處理周期。

10、存儲(chǔ)綠色節(jié)能

在“碳達(dá)峰、碳中和”大背景下，綠色低碳成為數(shù)據(jù)中心的重要發(fā)展方向。存儲(chǔ)能耗在數(shù)據(jù)中心占比超過30%。因此，除了降低PUE之外，降低以存儲(chǔ)為代表的IT設(shè)備能耗，對(duì)于促進(jìn)數(shù)據(jù)中心零碳排至關(guān)重要。

通過多協(xié)議融合和孤島融合，實(shí)現(xiàn)多合一，提升資源利用率。一套存儲(chǔ)可支持文件、對(duì)象、HDFS等多種協(xié)議，滿足多樣化需求，整合多種類型存儲(chǔ)；同時(shí)通過融合資源池，實(shí)現(xiàn)資源池化，從而提升利用率。

存儲(chǔ)有83%的能耗來自于存儲(chǔ)介質(zhì)，在相同容量下，SSD相比機(jī)械硬盤的能耗降低70%，空間占用節(jié)省50%。通過大容量SSD和高密硬盤框，提升存儲(chǔ)容量功耗占比，減少相同數(shù)據(jù)量附帶產(chǎn)生的數(shù)據(jù)處理和存儲(chǔ)能耗，進(jìn)而推動(dòng)存儲(chǔ)單位容量能耗降低，用更小的空間存儲(chǔ)更大的容量。

編輯：黃飛

?