0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

智算時代AI性能需求6年增長30萬倍存儲怎么辦

浪潮存儲 ? 來源:浪潮存儲 ? 作者:葉毓睿 ? 2021-11-26 14:52 ? 次閱讀

/作者:浪潮信息首席架構師 葉毓睿

智算時代的序幕已經拉開,互聯的萬物,一切皆計算。智慧計算融入到千行萬業(yè)的圖景,正在徐徐鋪開。這是一個數據成為生產要素的時代,智慧計算將勞動者由人變成了人+AI,將數據變成了一種新的生產資料,將計算力驅動的信息化設備變成了生產工具。

智算時代,算力供應呈現多元化發(fā)展趨勢,包括科學計算、關鍵計算、云計算、AI計算等,支持這些多元、異構的計算,需要新型數據中心

工信部在《新型數據中心發(fā)展三年行動計劃(2021-2023年)》對新型數據中心的定義是:以支撐經濟社會數字轉型、智能升級、融合創(chuàng)新為導向,以5G、工業(yè)互聯網、云計算、人工智能等應用需求為牽引,匯聚多元數據資源、運用綠色低碳技術、具備安全可靠能力、提供高效算力服務、賦能千行百業(yè)應用的新型基礎設施,具有高技術、高算力、高能效、高安全特征。并明確指出:引導新型數據中心集約化、高密化、智能化建設,加快高性能、智能計算中心部署。

先以AI計算為例。2018年5月,一篇著名的OpenAI博客分析,自 2012 年以來,AI算力需求總增長約30萬倍(如下圖),也即3.4月翻一倍(相比之下,摩爾定律約每兩年翻倍,總增長約7倍)。

迅猛增長的AI算力需求,對底層IT基礎設施,包括存儲提出了新的挑戰(zhàn)。

再以云計算為例。國內最大的云計算公司阿里云,在2020年的雙11當天零點零分26秒,迎來流量洪峰,訂單創(chuàng)建峰值達58.3萬筆/秒(也即TPS,Transaction Per Second,代表每秒執(zhí)行的事務數)。

相信這么高的性能需求,會對與之相關的電商、銀行、物流等上下游的企業(yè)造成很大的壓力。例如2017年雙11,農業(yè)銀行核心系統全天交易量4.49億筆。其實,無論云計算,還是邊緣計算等,都已經或將要和私有云或者數據中心的業(yè)務系統打通,實現數據的處理、流動和共享,為全產業(yè)鏈聯動,提供及時交付和響應。另外,無論是AI計算、科學計算,還是萬物互聯帶來的計算,都已經或將要實現從非結構化數據到結構化數據的轉換,以及終端(含手機、車載大屏等)的可視化呈現,為個人或組織提供參考和決策依據;在這個過程中,轉換后結構化數據的數據處理、安全,和再在線(類似從AI訓練到推理),離不開為關鍵計算提供支撐的IT基礎設施,如集中式存儲。

當我們關注存儲性能時,通常有IOPS(每秒IO個數)和延時(處理IO所需時間,通常以毫秒,也即ms為單位)兩大指標。上面雙11所述的TPS是每秒交易數,是從業(yè)務視角來觀察性能的,通常一個訂單的操作會聯動多個數據庫的增刪改查操作,導致多個存儲IO的讀寫操作。不過,需要注意的是,不同業(yè)務TPS帶動的IO數有時相差很大。

我們再來看關鍵計算的幾個例子。為了追求極致的性能,有些行業(yè)用戶無所不用其極。

Spread Networks 大概從 2010 年開始,花費 3 億美元挖通修建了一條橫穿阿巴拉契亞山脈的光纜隧道,目的是讓光纜不用繞道,將數據傳輸時間縮短大約3毫秒。

2013 年,一組破冰隊伍和特制的極地冰山電纜鋪設船將開始建造第一艘跨北極海底光纜。其中兩條名為 “Artic Fibre”和 “Arctic Link” 的光纜將跨過加拿大北極群島的西北通道。第三條類似走向的海底光纜,俄羅斯跨北極海底光纜(ROTACS)將會圍繞北歐北部的斯堪的納維亞半島和俄羅斯進行鋪設。通過這三條海底光纜,全球兩大金融交易中心英國倫敦和日本東京將幾乎得以直連,相比現有方案節(jié)省近8000公里,兩地間的數據傳輸時間也從大約0.23秒減少至0.17秒,這項工程耗資大約15億美元。

2017年彭博社報道,Jump Trading公司在芝加哥商品交易所數據中心對面,花了1400萬美元買了一塊12萬平方米的空地(如下圖),并架設了微波通信基站,僅僅為了節(jié)省0.07毫秒時間。眾所周知,眨眼常被形容快,它的時間約0.4秒;而Jump Trading花費巨資,只是為了快5700分之一眨眼的時間。

可想而知,在一些行業(yè)的某些特定應用上,為了追求高性能、低延遲,用戶愿意不惜代價。筆者曾服務過的一個國內部委用戶,僅僅為了縮短幾毫秒的延時,數年下來,已經投入了數億元人民幣在集中式存儲上。

就像人類在奧運會上所展現的精神一樣,追求更快、更高、更強是永恒不變的動力,存儲性能競賽也是如此。

2021年6月,全球存儲性能委員會(Storage Performance Council,簡稱SPC)公布了新的SPC-1基準評測報告,浪潮分布式存儲AS13000G5以630萬IOPS(每秒讀寫操作的次數)、0.5ms時延的評測值,刷新了分布式存儲性能全球最優(yōu)成績。這是繼浪潮存儲在“統一存儲”賽道奪得16控、8控、單位成本性能世界冠軍之后,在“分布式存儲”領域實現新突破,成為存儲全球性能領跑者。

2021年8月,SPC公布了最新SPC-1基準評測榜單,浪潮存儲高端全閃HF18000G5獲得2300萬IOPS(每秒讀寫操作次數)、不超過0.3ms延時的評測值,位列性能總榜全球第一。

浪潮存儲的優(yōu)異性能表現,對智算時代中的科學計算、云計算、AI計算,如核心交易用到的數據庫,以及OLAP、郵件系統、虛擬化、AI等業(yè)務的存儲系統選型具有極高的參考價值。浪潮存儲會在集中式全閃、分布式全閃新存儲領域持續(xù)投入,以性能全面碾壓、技術實力領先、市場增速領跑的強大產品和市場競爭力加速企業(yè)數字化轉型,形成全球存儲新勢力。

編輯:jq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯系本站處理。 舉報投訴
  • 云計算
    +關注

    關注

    39

    文章

    7704

    瀏覽量

    137118
  • AI
    AI
    +關注

    關注

    87

    文章

    29824

    瀏覽量

    268112
  • 光纜
    +關注

    關注

    2

    文章

    668

    瀏覽量

    33018
  • TPS
    TPS
    +關注

    關注

    0

    文章

    83

    瀏覽量

    36173

原文標題:智算時代AI性能需求6年增長30萬倍,存儲怎么辦?

文章出處:【微信號:inspurstorage,微信公眾號:浪潮存儲】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    AI時代存儲墻,哪種存方案才能打破?

    回顧計算行業(yè)幾十的歷史,芯片力提升在幾年前,還在遵循摩爾定律??呻S著如今摩爾定律顯著放緩,力發(fā)展已經陷入瓶頸。而且禍不單行,陷入同樣困境的還有存儲。從新標準推進的角度來看,
    的頭像 發(fā)表于 04-21 01:36 ?3457次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>時代</b>的<b class='flag-5'>存儲</b>墻,哪種存<b class='flag-5'>算</b>方案才能打破?

    名單公布!【書籍評測活動NO.43】 力芯片 | 高性能 CPU/GPU/NPU 微架構分析

    更高、更密集的應用需求。 12前,我與本書作者相識時,他向我提出一個想法:建立中關村在線高性能計算頻道。該頻道隸屬于核心硬件事業(yè)部,聚焦力芯片相關的產品技術分析、評測,并為企業(yè)客戶
    發(fā)表于 09-02 10:09

    大模型時代需求

    現在AI已進入大模型時代,各企業(yè)都爭相部署大模型,但如何保證大模型的力,以及相關的穩(wěn)定性和性能,是一個極為重要的問題,帶著這個極為重要的問題,我需要在此書中找到答案。
    發(fā)表于 08-20 09:04

    OPA2333二級放大是否可以實現萬倍放大?

    供電電源:直流3.3v 待放大輸入電壓:10uV。 請問二級放大是否可以實現萬倍放大。如果可以,該怎樣實現?
    發(fā)表于 08-13 06:58

    成都匯陽投資關于跨越帶寬增長極限,HBM 賦能AI新紀元

    ? ? ?【AI 時代需求,HBM 應運而生】 隨著人工智能技術的快速發(fā)展,傳統的 GDDR 內存逐漸達到其技術發(fā)展的瓶頸: 1)GDDR5 無法跟上 GPU 性能發(fā)展:
    的頭像 發(fā)表于 07-04 10:55 ?598次閱讀

    2024多樣性力產業(yè)峰會:江波龍解碼AI存儲方案的未來之路

    6月18日,多樣性力產業(yè)峰會2024在北京圓滿舉行,江波龍企業(yè)級存儲事業(yè)部市場總監(jiān)曹潯峰受邀出席本次峰會并發(fā)表了《大模型時代AI
    的頭像 發(fā)表于 06-21 08:20 ?475次閱讀
    2024多樣性<b class='flag-5'>算</b>力產業(yè)峰會:江波龍解碼<b class='flag-5'>AI</b><b class='flag-5'>存儲</b>方案的未來之路

    卡集群解決大模型訓需求,建設面臨哪些挑戰(zhàn)

    解決大模型訓練對需求的巨大增長問題,尤其是現在模型參數量從百億級、千億級邁向萬億級。 ? 國內外企業(yè)積極構建卡集群 ? 目前,在國際上,包括微軟、Google、Meta等
    的頭像 發(fā)表于 06-02 06:18 ?4512次閱讀
    <b class='flag-5'>萬</b>卡集群解決大模型訓<b class='flag-5'>算</b>力<b class='flag-5'>需求</b>,建設面臨哪些挑戰(zhàn)

    FRAM SF25C20晶圓合封MCU,滿足小尺寸和高性能需求

    FRAM SF25C20晶圓合封MCU,滿足小尺寸和高性能需求
    的頭像 發(fā)表于 04-22 09:49 ?507次閱讀
    FRAM SF25C20晶圓合封MCU,滿足小尺寸和高<b class='flag-5'>性能需求</b>

    高盛談HBM四市場 受益于AI服務器持續(xù)增長

    高盛談HBM四市場 受益于AI服務器持續(xù)增長 AI需求爆發(fā)引發(fā)HBM
    的頭像 發(fā)表于 03-28 14:41 ?1030次閱讀

    墨芯人工智能CEO王維:需要重新定義和設計AI計算機

    AI時代,我們需要重新定義和設計AI計算機。僅依靠硅基的摩爾定律,2翻一的線性增長
    的頭像 發(fā)表于 01-12 11:12 ?1010次閱讀

    硬件、軟件和網絡互聯技術詳解

    AI、元宇宙、大模型......每一個火爆名詞的背后都代表著巨大的需求。據了解,AI模型所需的力每100天就要翻一
    的頭像 發(fā)表于 01-08 10:53 ?756次閱讀
    硬件、軟件和網絡互聯技術詳解

    風機軸磨損怎么辦

    電子發(fā)燒友網站提供《風機軸磨損怎么辦.docx》資料免費下載
    發(fā)表于 01-07 11:04 ?0次下載

    pcb鉆孔偏孔了怎么辦

    pcb鉆孔偏孔了怎么辦?
    的頭像 發(fā)表于 11-22 11:10 ?3195次閱讀
    pcb鉆孔偏孔了<b class='flag-5'>怎么辦</b>?

    看好明年NAND Flash需求回升!捕捉大數據時代商機 西部數據展示創(chuàng)新存儲產品

    張丹表示:“過去的二十年間,Flash行業(yè)是從PB到EB的增長,千甚至萬倍增長,這個過程中產生了大量的消費級和企業(yè)級的應用場景,由此促進了NAND Flash行業(yè)的爬坡和
    的頭像 發(fā)表于 11-20 09:07 ?2014次閱讀
    看好明年NAND Flash<b class='flag-5'>需求</b>回升!捕捉大數據<b class='flag-5'>時代</b>商機 西部數據展示創(chuàng)新<b class='flag-5'>存儲</b>產品

    存儲空間已滿怎么辦?

    存儲空間已滿怎么辦?當云存儲空間已滿時,我們可以采取以下一些常見的步驟來解決問題: 1、刪除不必要的文件: 首先,檢查云存儲中是否有不再需要的文件或數據。刪除這些文件可以立即釋放
    的頭像 發(fā)表于 11-14 17:44 ?4222次閱讀