0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

曙光存儲的“引力彈弓”,讓AI向產(chǎn)業(yè)宇宙加速狂奔

腦極體 ? 來源:腦極體 ? 作者:腦極體 ? 2024-08-30 09:29 ? 次閱讀

wKgaombQoPaAQx4cAAqGH032bbs530.jpg

《流浪地球》中,科學(xué)家利用木星的“引力彈弓”效應(yīng),為地球加速,成功脫離危機(jī),是整部電影最激動(dòng)人心的高潮段落。

加速,不僅在科幻電影中揪人心弦,對AI行業(yè)也十分重要。比如說,千億級大模型必須寫容錯(cuò)點(diǎn)checkpoint,一旦數(shù)據(jù)存儲發(fā)生災(zāi)難性故障,導(dǎo)致AI訓(xùn)練中斷,對于一些著急上線的企業(yè)來說,時(shí)間就是生命線,可能造成難以彌補(bǔ)的損失。所以說,確保AI快速穩(wěn)定地進(jìn)行,是產(chǎn)業(yè)智能化的必要條件。

為AI加速,存儲也可以起到“引力彈弓”效應(yīng)。

試想一下,當(dāng)你正在滑滑板,有一個(gè)速度很快的人從你旁邊經(jīng)過,拉了你一把,就如同彈弓弓弦一樣,給了你一個(gè)加速前進(jìn)的力。存力之于AI,就起到了類似的作用。存力和算力互相協(xié)同,通過存力來縮短數(shù)據(jù)讀寫時(shí)間,減少算力的空轉(zhuǎn)等待時(shí)間,可以有效提升AI大模型的訓(xùn)練效率。

不過,想充分釋放存力的“引力彈弓”效應(yīng),傳統(tǒng)存儲的性能、可靠性等,就有些力不從心了。鍛造一張最適合AI的“引力彈弓”,曙光存儲出手了。

wKgZombQoPeAONJbAAIB-H_4-yk393.jpg

此前,曙光推出的智存產(chǎn)品搭載五級加速方案,已經(jīng)在政務(wù)、科研、金融、醫(yī)療等行業(yè)場景,相繼落地。就在近期,又宣布與智元機(jī)器人合作,成為具身智能領(lǐng)域的存力伙伴。

在曙光存儲的存力底座上,越來越多的AI模型/能力,正加速奔向產(chǎn)業(yè)宇宙。我們就跟隨這張“引力彈弓”的發(fā)射方向,來一場奔赴星辰大海的AI之旅吧。

wKgaombQoPiAA2QUAAJECkVcdOQ701.jpg

“引力彈弓”效應(yīng),利用了宇宙中天體的引力,當(dāng)航天器進(jìn)入引力影響范圍時(shí),被拉了一把,行程就會(huì)開始加速。

對AI來說,存儲也自帶加速“引力”嗎?答案是肯定的。

至少從四個(gè)方面,存儲可以“拉”AI一把:

首先是性能。計(jì)算越復(fù)雜,對存儲性能和帶寬的要求越高,存儲必須足夠快,才能匹配上GPU或AI芯片,否則就會(huì)導(dǎo)致算力空載、空轉(zhuǎn)或等待。在模型訓(xùn)練中斷時(shí)從checkpoint快速寫回,也可以提高AI計(jì)算效率。

其次是質(zhì)量。“garbage in,garbage out(垃圾進(jìn),垃圾出)”,存儲承載的數(shù)據(jù)質(zhì)量,直接影響到大模型訓(xùn)練的效果,隨著大模型需要“咀嚼”的數(shù)據(jù)規(guī)模、類型越來越多,AI存儲必須具備對海量規(guī)模、異構(gòu)等數(shù)據(jù)的高效吞吐和處理能力。

第三是安全。存儲系統(tǒng)的管理審計(jì)、權(quán)限管理等,從數(shù)據(jù)I/O通路上保證用戶數(shù)據(jù)的安全可靠,不會(huì)有篡改、不可追溯等問題,也是AI用戶十分看重的。

第四是優(yōu)化。存儲可以結(jié)合用戶業(yè)務(wù),進(jìn)行一些個(gè)性化的微調(diào)與適配,比如了解到業(yè)務(wù)數(shù)據(jù)中的大文件多還是小文件多,隨機(jī)訪問多還是順序訪問多,在此基礎(chǔ)上進(jìn)行參數(shù)調(diào)整,可以針對性優(yōu)化,提升業(yè)務(wù)體驗(yàn)。

因此,存儲在AI基礎(chǔ)設(shè)施中的優(yōu)先級不斷提高。

去年大模型爆火初期,AI行業(yè)用戶一開始只關(guān)注存儲產(chǎn)品的容量,后續(xù)則慢慢意識到存儲的性能、開放兼容性、AI應(yīng)用適配性等更多維度指標(biāo)的重要性。

從能用到智用,存儲之于AI的“引力”正越來越大,起到了越來越重要的加速作用。

wKgaombQoPmAYtyBAAIoroJ8Ufs936.jpg

AI存儲對行業(yè)用戶的吸引力,越來越大,但動(dòng)輒萬億參數(shù)、萬卡集群的AI大模型,對存儲的要求也指數(shù)級上升。

市面上是否有超強(qiáng)AI存力的產(chǎn)品,像木星推動(dòng)地球一樣,發(fā)揮出強(qiáng)大天體才具備的“引力彈弓效應(yīng)”呢?曙光決定來打造一個(gè)。

wKgZombQoPmAIPgIAAM5QLn43p0439.jpg

曙光ParaStor分布式全閃存儲,作為最懂AI的存儲產(chǎn)品,核心特點(diǎn)就是一個(gè)字:快。

可以將AI整體表現(xiàn)提升20倍以上,讓數(shù)據(jù)無需等待,AI也就快人一步。具體是怎么做到的?曙光存儲運(yùn)營總監(jiān)石靜向我們解密。

這張最適合AI的“引力彈弓”,有兩大核心:一是最強(qiáng)的數(shù)據(jù)底座,二是最佳的AI應(yīng)用加速套件。

可以這樣理解,數(shù)據(jù)底座就像是天體本身的引力足夠大、足夠強(qiáng)。

曙光存儲的ParaStor分布式全閃存儲,在整個(gè)硬件層面進(jìn)行提升,可以發(fā)揮出極致性能。帶寬倍數(shù)提升,單個(gè)節(jié)點(diǎn)可以做到最高150GB/s帶寬,一秒鐘提供150G的數(shù)據(jù)吞吐。IOPS十倍提升,一秒鐘可以處理320萬個(gè)I/O請求,實(shí)現(xiàn)高效吞吐。

而應(yīng)用套件,就像是在原有引力基礎(chǔ)上再造一個(gè)加速引擎,推動(dòng)AI走得更快。

ParaStor分布式全閃存儲采用了業(yè)內(nèi)獨(dú)家的“五級加速方案”,盡可能地縮短整個(gè)I/O流程,讓數(shù)據(jù)更加靠近計(jì)算,分別實(shí)現(xiàn)了本地內(nèi)存、Burst Buffer加速層、網(wǎng)絡(luò)層(RDMA-Based)、存儲節(jié)點(diǎn)高速層( NVMe SSD-Based )、應(yīng)用層(存儲直達(dá)GPU)的五層加速。

最強(qiáng)數(shù)據(jù)底座+五級加速的最佳AI應(yīng)用加速套件,成為一張強(qiáng)有力的“引力彈弓”,讓AI表現(xiàn)提升20倍,可以去往更廣闊的產(chǎn)業(yè)天地。

wKgaombQoPqAQxuWAAJ2zWblk5I407.jpg

利用“引力彈弓效應(yīng)”,人造航空器“旅行者1號” 飛出了太陽系,進(jìn)入了太陽系外更廣闊的宇宙空間。曙光存儲可以讓AI走得更快,那么能推動(dòng)AI走得更遠(yuǎn)嗎?

目前來看,答案是確定的。

作為分布式存儲市場領(lǐng)導(dǎo)者象限中排名第一的廠商,曙光也在AI賽道上起到了引領(lǐng)作用。曙光存儲走向行業(yè)的足跡,連起來,就是AI邁向產(chǎn)業(yè)的“軌跡”。

為AI筑底座。曙光存儲與中國移動(dòng)合作,為其新型智算中心提供存儲底座,助力萬卡甚至超萬卡集群的建設(shè),算力網(wǎng)絡(luò)AI注智賦能,有望為各行各業(yè)提供澎湃的智能算力。泉州智慧城市大腦,借助新一代曙光存儲的異構(gòu)融合能力,實(shí)現(xiàn)海量異構(gòu)數(shù)據(jù)資源的融合,打造更堅(jiān)實(shí)的“數(shù)字底座”。

為AI謀效率。在與某AI大模型廠商的合作中,曙光存儲的ParaStor分布式全閃存儲,單節(jié)點(diǎn)150GB/s帶寬和320萬IOPS,整體訓(xùn)練效率提升50%以上,有了高效率的支撐大模型廠商更快推出產(chǎn)品來滿足市場需求。

為AI降成本。目前,曙光存儲實(shí)現(xiàn)了國內(nèi)外雙棧技術(shù)生態(tài)全兼容(CPU/GPU/OS/DB/Cloud),可以應(yīng)對AI算力多元異構(gòu)的技術(shù)挑戰(zhàn),支持國內(nèi)外不同廠商、不同架構(gòu)、不同版本的算卡,以及多樣的大模型,幫助行業(yè)客戶在智能化過程中,實(shí)現(xiàn)成本均衡。更合理的成本,也可以加速AI的產(chǎn)業(yè)化進(jìn)程。

為AI謀新篇。在具身智能等新興領(lǐng)域,曙光存儲深入了解行業(yè)痛點(diǎn),針對具身智能機(jī)器人低時(shí)延、高性能、絲滑體驗(yàn)等剛需,憑借快訓(xùn)練、快歸檔和合理成本等優(yōu)勢,為智元機(jī)器人打造堅(jiān)實(shí)存儲底座,讓智元機(jī)器人可以實(shí)時(shí)、高效、絲滑地運(yùn)行,及時(shí)處理故障,保持在最佳狀態(tài),加速商用進(jìn)程,開啟具身智能的新紀(jì)元。

不難看到,一張強(qiáng)大存儲的“引力彈弓”,正推動(dòng)AI走得又快又穩(wěn)又遠(yuǎn),走向廣袤的產(chǎn)業(yè)宇宙。

可能有人會(huì)問,為什么最適配AI的存儲,會(huì)率先誕生在中國、在曙光?

首先,曙光與國內(nèi)AI的距離最近??梢葬槍π缘貪M足國內(nèi)AI廠商的定制化開發(fā)需求,這是海外廠商很難具備的。

此外,曙光自主研發(fā)實(shí)力很強(qiáng)。有國產(chǎn)化要求、擔(dān)心海外供應(yīng)鏈風(fēng)險(xiǎn)、追求完全自研的廠商,曙光存儲有極強(qiáng)的吸引力。

而AI新技術(shù),也要求存儲廠商需要更多地跟介質(zhì)廠商、網(wǎng)絡(luò)廠商交互,共同探索全新的方案。以及在存儲系統(tǒng)中納入AI的能力,在算法上面有更多的積淀。因此,對存儲廠商的綜合能力、生態(tài)合作等,也都提出了新的要求。

從這個(gè)角度講,曙光存儲在AI領(lǐng)域的“引力彈弓”效應(yīng),也將進(jìn)一步推動(dòng)國產(chǎn)存儲廠商的跟進(jìn)與升級。

當(dāng)越來越多的國產(chǎn)先進(jìn)存儲,為AI提供加速引力,一定會(huì)將AI推向更廣闊的產(chǎn)業(yè)地帶。那時(shí),我們將看到一個(gè)更加遼闊璀璨的智能中國。

wKgZombQoPyAHPImAAHGasuNnrw092.jpg

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 存儲
    +關(guān)注

    關(guān)注

    13

    文章

    4226

    瀏覽量

    85577
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    29806

    瀏覽量

    268103
收藏 人收藏

    評論

    相關(guān)推薦

    曙光存儲加快智能駕駛應(yīng)用落地

    智能駕駛是人工智能和新能源的集大成者,正在發(fā)展為引領(lǐng)產(chǎn)業(yè)升級的超級應(yīng)用場景。全國各地紛紛出臺“車路云一體化”試點(diǎn)應(yīng)用等政策,推動(dòng)智能駕駛發(fā)展。
    的頭像 發(fā)表于 11-05 14:08 ?124次閱讀

    華為AI解決方案加速超寬帶產(chǎn)業(yè)創(chuàng)新

    在華為UBBF 2024第十屆全球超寬帶高峰論壇期間,華為常務(wù)董事、ICT基礎(chǔ)設(shè)施業(yè)務(wù)管理委員會(huì)主任汪濤發(fā)表了“AI加速超寬帶產(chǎn)業(yè)創(chuàng)新,共贏商業(yè)新增長”主題演講,分享對AI行業(yè)的最新洞
    的頭像 發(fā)表于 11-01 15:03 ?186次閱讀

    曙光存儲實(shí)現(xiàn)世界級性能突破

    曙光存儲召開了主題為“先進(jìn)存力,凝聚數(shù)據(jù)要素”的新品暨品牌發(fā)布會(huì),震撼發(fā)布全球首個(gè)億級IOPS集中式全閃存儲FlashNexus,重磅升級分布式存儲ParaStor,同時(shí)推出行業(yè)首個(gè)通存解決方案,應(yīng)對“強(qiáng)無止境”數(shù)據(jù)
    的頭像 發(fā)表于 09-19 15:51 ?218次閱讀

    曙光存儲蟬聯(lián)分布式存儲市場領(lǐng)導(dǎo)者象限

    近日,國內(nèi)權(quán)威機(jī)構(gòu)賽迪顧問發(fā)布《2024中國分布式存儲市場研究報(bào)告》,曙光存儲穩(wěn)居領(lǐng)導(dǎo)者象限,連續(xù)兩年強(qiáng)勢占位,更在AI、教育等細(xì)分市場排名第一,展現(xiàn)出強(qiáng)大的競爭力。
    的頭像 發(fā)表于 08-06 14:44 ?445次閱讀

    曙光存儲首發(fā)集中式全閃存儲新品,是存儲領(lǐng)域的一次關(guān)鍵突破嗎?

    存儲行業(yè)資訊
    腦極體
    發(fā)布于 :2024年06月27日 14:23:17

    杭州靈伴科技文杰:AR+AI,加速進(jìn)入空間計(jì)算時(shí)代

    創(chuàng)始人文杰發(fā)表主旨演講,文杰認(rèn)為,AR和AI的結(jié)合將是未來技術(shù)發(fā)展的重要方向,并將加速空間計(jì)算時(shí)代的到來。 ? AR與AI的深度融合
    的頭像 發(fā)表于 06-20 09:09 ?307次閱讀
    杭州靈伴科技<b class='flag-5'>向</b>文杰:AR+<b class='flag-5'>AI</b>,<b class='flag-5'>加速</b>進(jìn)入空間計(jì)算時(shí)代

    曙光存儲攜手華錄集團(tuán)發(fā)布“數(shù)據(jù)生命周期管理方案”

    隨著AI應(yīng)用的實(shí),海量數(shù)據(jù)已成為數(shù)字經(jīng)濟(jì)發(fā)展寶貴的“數(shù)字原油”。為了保障新質(zhì)生產(chǎn)力提供充足的“數(shù)字原油”,數(shù)據(jù)存儲是關(guān)鍵。
    的頭像 發(fā)表于 04-14 10:09 ?406次閱讀

    曙光存儲推出ParaStor分布式全閃存儲

    曙光存儲推出ParaStor分布式全閃存儲,攜業(yè)內(nèi)首創(chuàng)技術(shù)XDS,以訓(xùn)練加速、穩(wěn)定性強(qiáng)、性價(jià)比高的獨(dú)特價(jià)值,全維度涵蓋網(wǎng)絡(luò)、計(jì)算和平臺,為千行百業(yè)的AI大模型開發(fā)者提供
    發(fā)表于 03-01 11:30 ?528次閱讀

    我國在光存儲領(lǐng)域獲重大突破 或?qū)㈤_啟綠色海量光子存儲新紀(jì)元

    我國在光存儲領(lǐng)域獲重大突破 或?qū)㈤_啟綠色海量光子存儲新紀(jì)元 據(jù)新華社的報(bào)道,中國科學(xué)院上海光學(xué)精密機(jī)械研究所與上海理工大學(xué)等合作,在超大容量超分辨三維光存儲研究中取得突破性進(jìn)展??梢哉f是“超級光盤
    的頭像 發(fā)表于 02-22 18:28 ?1718次閱讀

    曙光存儲攜手中國移動(dòng)成功打造行業(yè)首個(gè)存力智能調(diào)度平臺

    近日,曙光存儲攜手中國移動(dòng),成功打造行業(yè)首個(gè)存力智能調(diào)度平臺。依托全棧自研技術(shù)優(yōu)勢,進(jìn)一步激發(fā)全國數(shù)據(jù)價(jià)值,推動(dòng)一體化存力布局進(jìn)程加速!
    的頭像 發(fā)表于 12-29 11:04 ?902次閱讀
    <b class='flag-5'>曙光存儲</b>攜手中國移動(dòng)成功打造行業(yè)首個(gè)存力智能調(diào)度平臺

    AI大步向前,先進(jìn)存力加速度追趕

    賽迪最新發(fā)布的《中國先進(jìn)存力發(fā)展研究報(bào)告》(下稱“報(bào)告”)指出,目前中國存力發(fā)展存在一定“被忽視”現(xiàn)象,預(yù)計(jì)到2025年,將有超過420EB的巨大存力缺口亟待補(bǔ)充。與此同時(shí),以曙光存儲為代表的一線廠商在持續(xù)發(fā)力“先進(jìn)存力”,為存力賽道的進(jìn)階探清方向。
    的頭像 發(fā)表于 12-25 16:25 ?493次閱讀

    AI大模型駛向產(chǎn)業(yè)之海,需要高質(zhì)數(shù)據(jù)“河道”引航

    曙光存儲升級數(shù)據(jù)航道,加速行業(yè)AI應(yīng)用揚(yáng)帆
    的頭像 發(fā)表于 12-02 09:45 ?1132次閱讀
    <b class='flag-5'>AI</b>大模型駛向<b class='flag-5'>產(chǎn)業(yè)</b>之海,需要高質(zhì)數(shù)據(jù)“河道”引航

    中科曙光推出AI大模型存儲解決方案

    11月29日,“數(shù)智創(chuàng)新 AI未來”2023中國數(shù)據(jù)與存儲峰會(huì)在北京舉辦。曙光存儲受邀發(fā)表主題演講,詳述面向AI大模型的數(shù)據(jù)存儲解決方案,通
    的頭像 發(fā)表于 11-30 10:58 ?735次閱讀

    宇宙時(shí)代分布式存儲的應(yīng)用

    宇宙的數(shù)據(jù)存儲需求與現(xiàn)有數(shù)據(jù)存儲需求有所不同,它需要更高的穩(wěn)定性、安全性、低延遲和持久性。 數(shù)字資產(chǎn)的價(jià)值也使得元宇宙的數(shù)據(jù)保護(hù)成為不可忽視的問題,需要超乎尋常的安全性和可靠性。
    發(fā)表于 11-14 11:25 ?377次閱讀