華為發(fā)布大模型時(shí)代ai存儲(chǔ)技術(shù)

華為發(fā)布大模型時(shí)代AI存儲(chǔ)新品，為基礎(chǔ)模型訓(xùn)練、行業(yè)模型訓(xùn)練、細(xì)分場(chǎng)景模型訓(xùn)練推理提供存儲(chǔ)解決方案，助力釋放AI新動(dòng)能。

數(shù)據(jù)決定智能的高度，數(shù)據(jù)存儲(chǔ)當(dāng)作先鋒

從互聯(lián)網(wǎng)到移動(dòng)化，從云計(jì)算到智能化，每一輪技術(shù)變革都為千行百業(yè)帶來(lái)深遠(yuǎn)影響。而從通用大模型到行業(yè)大模型，AI大模型的持續(xù)迭代也將助推新一輪的科技革命。在從0到1構(gòu)建AI大模型創(chuàng)新應(yīng)用的同時(shí)，企業(yè)應(yīng)該找到適配自身發(fā)展需求的數(shù)據(jù)底座，將數(shù)據(jù)存儲(chǔ)建設(shè)作為AI建設(shè)的下一個(gè)加速點(diǎn)。

當(dāng)前，企業(yè)在開(kāi)發(fā)及實(shí)施大模型應(yīng)用過(guò)程中，面臨四大挑戰(zhàn)：

第一，數(shù)據(jù)準(zhǔn)備時(shí)間長(zhǎng)，數(shù)據(jù)來(lái)源分散，歸集慢，預(yù)處理百TB數(shù)據(jù)需10天左右；第二，多模態(tài)大模型以海量文本、圖片為訓(xùn)練集，當(dāng)前海量小文件的加載速度不足100MB/s，訓(xùn)練集加載效率低；第三，大模型參數(shù)頻繁調(diào)優(yōu)，訓(xùn)練平臺(tái)不穩(wěn)定，平均約2天將出現(xiàn)一次訓(xùn)練中斷，需要Checkpoint機(jī)制恢復(fù)訓(xùn)練，故障恢復(fù)耗時(shí)超過(guò)一天；第四，大模型實(shí)施門(mén)檻高，系統(tǒng)搭建繁雜，資源調(diào)度難，GPU資源利用率通常不到40%。

構(gòu)建數(shù)據(jù)新范式，釋放AI新動(dòng)能

作為數(shù)據(jù)的載體，數(shù)據(jù)存儲(chǔ)成為AI大模型的關(guān)鍵基礎(chǔ)設(shè)施。順應(yīng)AI發(fā)展趨勢(shì)，針對(duì)不同行業(yè)、不同場(chǎng)景大模型應(yīng)用，華為推出OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲(chǔ)與FusionCube A3000訓(xùn)/推超融合一體機(jī)，幫助解決企業(yè)開(kāi)發(fā)及實(shí)施大模型應(yīng)用難題。

OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲(chǔ)，面向基礎(chǔ)/行業(yè)大模型數(shù)據(jù)湖場(chǎng)景，實(shí)現(xiàn)從數(shù)據(jù)歸集、預(yù)處理到模型訓(xùn)練、推理應(yīng)用的AI全流程海量數(shù)據(jù)管理。OceanStor A310單框5U支持400GB/s帶寬以及1200萬(wàn)IOPS的性能，可線性擴(kuò)展至4096節(jié)點(diǎn)，實(shí)現(xiàn)多協(xié)議無(wú)損互通。全局文件系統(tǒng)GFS實(shí)現(xiàn)跨地域智能數(shù)據(jù)編織，簡(jiǎn)化數(shù)據(jù)歸集流程；通過(guò)近存計(jì)算實(shí)現(xiàn)近數(shù)據(jù)預(yù)處理，減少數(shù)據(jù)搬移，預(yù)處理效率可提升30 %。

FusionCube A3000訓(xùn)/推超融合一體機(jī)，面向行業(yè)大模型訓(xùn)練/推理場(chǎng)景，針對(duì)百億級(jí)模型應(yīng)用，集成OceanStor A300高性能存儲(chǔ)節(jié)點(diǎn)、訓(xùn)/推節(jié)點(diǎn)、交換設(shè)備、AI平臺(tái)軟件與管理運(yùn)維軟件，為大模型伙伴提供拎包入住式的部署體驗(yàn)，實(shí)現(xiàn)一站式交付。開(kāi)箱即用，2小時(shí)內(nèi)即可完成部署。訓(xùn)/推節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)均可獨(dú)立水平擴(kuò)展，以匹配不同規(guī)模的模型需求。同時(shí)，F(xiàn)usionCube A3000通過(guò)高性能容器實(shí)現(xiàn)多個(gè)模型訓(xùn)練推理任務(wù)共享GPU，將資源利用率從40%提升到70%以上。FusionCubeA3000支持兩種靈活的商業(yè)模式，包括華為昇騰一站式方案以及開(kāi)放計(jì)算、網(wǎng)絡(luò)、AI平臺(tái)軟件的第三方伙伴一站式方案。

合作開(kāi)放，推動(dòng)“產(chǎn)學(xué)研”同頻共振

本次發(fā)布會(huì)上，華為數(shù)據(jù)存儲(chǔ)產(chǎn)品線總裁周躍峰博士對(duì)話華為蘇黎世研究所存儲(chǔ)首席科學(xué)家張霽，就數(shù)據(jù)安全流轉(zhuǎn)、企業(yè)數(shù)據(jù)接入大模型等話題展開(kāi)探討。張霽在2020年通過(guò)“華為天才少年項(xiàng)目”加入華為后，扎根AI存儲(chǔ)架構(gòu)研究，發(fā)表多篇頂級(jí)論文與專利，并已在華為數(shù)據(jù)存儲(chǔ)產(chǎn)品中全面落地。

目前，張霽與其團(tuán)隊(duì)正在瑞士蘇黎世研究所與蘇黎世聯(lián)邦理工大學(xué)Onur Mutlu教授等頂尖科學(xué)家們開(kāi)展研究與合作。張霽是華為眾多新生代技術(shù)青年的代表，還有更多的華為員工在遍布全球的研究所開(kāi)展前沿研究，一起挑戰(zhàn)難題、創(chuàng)造價(jià)值、推動(dòng)科技發(fā)展。

截至目前，華為數(shù)據(jù)存儲(chǔ)在全球擁有12個(gè)研發(fā)中心、4000多名研發(fā)人員、3000多項(xiàng)專利授權(quán)，并且與超過(guò)25所中國(guó)高校、30所海外高校建立合作關(guān)系，并成立8個(gè)聯(lián)合實(shí)驗(yàn)室。華為自2019年起設(shè)置奧林帕斯獎(jiǎng)，以激勵(lì)全球科研工作者，突破存儲(chǔ)領(lǐng)域關(guān)鍵技術(shù)難題。到2023年，已有來(lái)自于清華大學(xué)舒繼武教授、華中科技大學(xué)馮丹教授、蘇黎世聯(lián)邦理工大學(xué)OnurMutlu教授等來(lái)自全球頂尖高校與科研機(jī)構(gòu)的專家獲獎(jiǎng)，他們?cè)诖鎯?chǔ)創(chuàng)新架構(gòu)、創(chuàng)新算法等課題上取得了技術(shù)性突破，加速了科研成果產(chǎn)業(yè)化，實(shí)現(xiàn)產(chǎn)學(xué)研合作共贏。

在本次發(fā)布會(huì)上，中國(guó)科學(xué)院自動(dòng)化研究所紫東大模型中心、武漢人工智能研究院的專家及科大訊飛、智譜AI等企業(yè)相關(guān)負(fù)責(zé)人分別就AI大模型的應(yīng)用實(shí)踐以及基于華為AI存儲(chǔ)的聯(lián)合創(chuàng)新進(jìn)行探討，并對(duì)未來(lái)同華為在數(shù)據(jù)存儲(chǔ)領(lǐng)域的合作進(jìn)行展望。

編輯：黃飛

?