0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Arm 的使命是助力應(yīng)對 AI 無止盡的能源需求

半導(dǎo)體芯科技SiSC ? 來源:Arm 首席執(zhí)行官 Rene Haas ? 作者:Arm 首席執(zhí)行官 R ? 2024-04-26 11:28 ? 次閱讀

AI 數(shù)據(jù)中心工作負(fù)載供電的挑戰(zhàn)(與機遇)

作者:Arm 首席執(zhí)行官 Rene Haas

人工智能 (AI) 具有超越過去一個世紀(jì)所發(fā)生的所有變革性創(chuàng)新的潛力,它在醫(yī)療保健、生產(chǎn)力、教育等領(lǐng)域為社會帶來的益處將超乎我們的想象。為了運行這些復(fù)雜的 AI 工作負(fù)載,全球數(shù)據(jù)中心所需的計算量需要以指數(shù)級規(guī)模進行擴展。然而,這種對計算無止盡的需求也揭示了一個嚴(yán)峻的挑戰(zhàn):數(shù)據(jù)中心需要龐大的電力來驅(qū)動AI這一突破性技術(shù)。

當(dāng)今的數(shù)據(jù)中心已經(jīng)消耗了大量的電力——全球每年需要 460 太瓦時 (TWh) 電力進行支持,這個數(shù)字等同于整個德國的用電量。而 AI 的興起預(yù)計將在 2030 年把該數(shù)字提高三倍,意味著將超過印度這一世界上人口最多國家的總耗電量。

未來的 AI 模型將持續(xù)變得更大、更智能,在帶動對更多計算能力的需求的同時,對電力的需求也會增加,從而成為良性循環(huán)的一部分。而找到降低這些大型數(shù)據(jù)中心電力需求的方法對于實現(xiàn)社會性突破和兌現(xiàn) AI 的承諾至關(guān)重要。

換言之,沒有電力就無法實現(xiàn) AI,企業(yè)需要重新思考如何應(yīng)對能效問題的方方面面。

重新構(gòu)思 AI 的未來——一個由 Arm 平臺驅(qū)動的未來

Arm 最初的產(chǎn)品就是為使用電池的設(shè)備而設(shè)計的,并推動了移動電話的變革。因此,深植于 Arm 的能效 DNA能使業(yè)界重新思考應(yīng)如何構(gòu)建芯片來滿足 AI 日益增長的需求。

在典型的服務(wù)器機架中,僅計算芯片就可以消耗超過 50% 的電力預(yù)算。工程團隊正在尋找各種可以降低該數(shù)字的方法,每一瓦特的減少都至關(guān)重要。

正因為此,全球最大的 AI 頭部云服務(wù)提供商們轉(zhuǎn)而采用 Arm 技術(shù)來降低功耗。與同行業(yè)中的其他產(chǎn)品相比,Arm 最新的 Arm Neoverse CPU 是面向云數(shù)據(jù)中心,性能最高、最節(jié)能的處理器。Neoverse 為頭部云服務(wù)提供商提供了定制芯片的靈活性,以優(yōu)化其苛刻的工作負(fù)載,同時提供領(lǐng)先的性能和能效。每一瓦特的節(jié)省都可以用來實現(xiàn)更多的計算。這也正是為什么亞馬遜云服務(wù) (AWS)、微軟、Google 和甲骨文 (Oracle) 現(xiàn)在都通過 Neoverse 技術(shù),處理其通用計算和基于 CPU 的 AI 推理和訓(xùn)練。Neoverse 平臺正在成為云數(shù)據(jù)中心領(lǐng)域的事實標(biāo)準(zhǔn)。

從近期的行業(yè)內(nèi)的發(fā)布來看:

·基于 Arm 架構(gòu)的 AWS Graviton:與其他同行業(yè)產(chǎn)品相比,Amazon Sagemaker 的 AI 推理性能提高了 25%,Web 應(yīng)用程序提高了 30%,數(shù)據(jù)庫提高了 40%,效率則提升了 60%。

·基于 Arm 架構(gòu)的 Google Cloud Axion:與傳統(tǒng)架構(gòu)相比,其性能和能效分別提高了 50% 和 60%,可為基于 CPU 的 AI 推理和訓(xùn)練、YouTube、Google 地球等服務(wù)提供支持。

·基于 Arm 架構(gòu)的 Microsoft Azure Cobalt:性能高出同類產(chǎn)品 40%,并為 Microsoft Teams 等服務(wù)提供支持,與 Maia 加速器的耦合驅(qū)動 Azure 的端到端 AI 架構(gòu)。

·Oracle Cloud 采用基于 Arm 架構(gòu)的 Ampere Altra Max:與傳統(tǒng)同類產(chǎn)品相比,每機架服務(wù)器的性能提高 2.5 倍,能耗降低 2.8 倍,并用于生成式 AI 推理模型,諸如摘要、大語言模型訓(xùn)練的數(shù)據(jù)的標(biāo)記化,以及批量推理用例。

顯然,Neoverse 極大地提升了云端通用計算的性能和能效。此外,合作伙伴也發(fā)現(xiàn)在加速計算方面,Neoverse 也能帶來同樣的益處。大規(guī)模 AI 訓(xùn)練需要獨特的加速計算架構(gòu),例如,NVIDIA Grace Blackwell 平臺 (GB200) 結(jié)合了 NVIDIA 的 Blackwell GPU 架構(gòu)與基于 Arm 架構(gòu)的 Grace CPU。這種基于 Arm 技術(shù)的計算架構(gòu)可實現(xiàn)系統(tǒng)級設(shè)計優(yōu)化,與面向大語言模型的 NVIDIA H100 GPU 相比,可帶來 25 倍的能耗降低,并將每個 GPU 的性能提高 30 倍。這些優(yōu)化能夠帶來顛覆性的性能和節(jié)能效果,而這一切都得益于 Neoverse 所帶來的前所未有的芯片定制靈活性。

隨著基于Arm 架構(gòu)的部署持續(xù)擴大,這些企業(yè)將可以節(jié)省高達 15% 的數(shù)據(jù)中心總能耗。這些巨幅的節(jié)省可以用來在相同的功率范圍內(nèi)驅(qū)動額外的 AI 運算,而不會增加能源負(fù)擔(dān)。換言之,這些節(jié)能相當(dāng)于可以額外運行 20 億次 ChatGPT 查詢,驅(qū)動四分之一的日常網(wǎng)絡(luò)搜索流量,為 20% 的美國家庭提供照明,或為與哥斯達黎加面積相仿的國家進行供電。這對改善能源消耗和環(huán)境可持續(xù)性產(chǎn)生了驚人的影響。

Arm CPU 正在從根本上推動 AI 變革,并造福地球。Arm 架構(gòu)是未來 AI 計算的基石。

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • ARM
    ARM
    +關(guān)注

    關(guān)注

    134

    文章

    9028

    瀏覽量

    366495
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    29821

    瀏覽量

    268111
  • 人工智能
    +關(guān)注

    關(guān)注

    1789

    文章

    46669

    瀏覽量

    237104
收藏 人收藏

    評論

    相關(guān)推薦

    AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第6章人AI能源科學(xué)讀后感

    幸得一好書,特此來分享。感謝平臺,感謝作者。受益匪淺。 在閱讀《AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》的第6章后,我深刻感受到人工智能在能源科學(xué)領(lǐng)域中的巨大潛力和廣泛應(yīng)用。這一章詳細(xì)
    發(fā)表于 10-14 09:27

    Arm平臺助力應(yīng)對AI能源需求

    需要以指數(shù)級規(guī)模進行擴展。然而,這種對計算無止盡需求也揭示了一個嚴(yán)峻的挑戰(zhàn):數(shù)據(jù)中心需要龐大的電力來驅(qū)動AI這一突破性技術(shù)。
    的頭像 發(fā)表于 09-24 15:52 ?266次閱讀

    Arm如何賦能無處不在的AI

    作為人工智能 (AI) 的創(chuàng)新基礎(chǔ),眾多企業(yè)都在使用通用且應(yīng)用廣泛的 Arm 計算平臺。迄今為止,合作伙伴基于 Arm 架構(gòu)的芯片出貨量已逾 2,800 億顆。如今,Arm 已為各類技
    的頭像 發(fā)表于 09-14 09:38 ?414次閱讀

    使用AmpereOne遏制快速增長的能源需求

    在 Ampere 2024 年度戰(zhàn)略和路線圖更新視頻中,CEO Renée James 和 CPO Jeff Wittich 強調(diào) Ampere 如何通過 AmpereOne 的設(shè)計來遏制快速增長的能源需求。
    的頭像 發(fā)表于 07-15 09:50 ?283次閱讀
    使用AmpereOne遏制快速增長的<b class='flag-5'>能源需求</b>

    軟銀斥資百億美元押注AI能源項目

    能源需求。隨著生成式人工智能技術(shù)的不斷突破,數(shù)據(jù)中心的建設(shè)和運營成本急劇上升,對清潔能源和高效電力的需求也隨之激增。
    的頭像 發(fā)表于 07-05 16:09 ?389次閱讀

    利用AI技術(shù)滿足能源需求并推動脫碳

    近日,在舉世矚目的巴庫能源周開幕式上,COP28主席Sultan Al Jaber博士發(fā)表了振奮人心的演講。他深入探討了人工智能、能源轉(zhuǎn)型以及全球南方國家增長對于推動氣候可持續(xù)發(fā)展的重要性,并為此提出了一系列前瞻性的觀點和建議。
    的頭像 發(fā)表于 06-06 15:33 ?495次閱讀

    海博思創(chuàng)引領(lǐng)儲能技術(shù)革命,助力全球能源轉(zhuǎn)型

    隨著全球能源需求的持續(xù)增長,人類正面臨氣候變化和環(huán)境污染的雙重挑戰(zhàn)。為了實現(xiàn)可持續(xù)發(fā)展的目標(biāo),全球各國已達成共識,致力于在2050年實現(xiàn)凈零排放。在這個過程中,新能源企業(yè)肩負(fù)著能源轉(zhuǎn)型的重任,而儲能
    的頭像 發(fā)表于 06-06 14:21 ?303次閱讀

    英飛凌為AI數(shù)據(jù)中心提供先進的高能效電源裝置產(chǎn)品路線圖

    英飛凌科技股份公司已翻開AI系統(tǒng)能源供應(yīng)領(lǐng)域的新篇章,發(fā)布了電源裝置(PSU)產(chǎn)品路線圖。該路線圖在優(yōu)先考慮能源效率前提下,專為滿足AI數(shù)據(jù)中心當(dāng)前和未來的
    發(fā)表于 06-03 18:24 ?532次閱讀
    英飛凌為<b class='flag-5'>AI</b>數(shù)據(jù)中心提供先進的高能效電源裝置產(chǎn)品路線圖

    英偉達引入新封裝技術(shù)應(yīng)對AI芯片需求

    隨著人工智能(AI)技術(shù)的飛速發(fā)展,市場對高性能AI芯片的需求日益旺盛。英偉達作為全球知名的GPU制造商,其數(shù)據(jù)中心GPU銷售持續(xù)火爆,導(dǎo)致臺積電(TSMC)的CoWoS封裝產(chǎn)能一直處于緊張狀態(tài)。
    的頭像 發(fā)表于 05-29 11:07 ?586次閱讀

    分布式能源是什么意思?分布式能源有什么優(yōu)勢?

    分布式能源指的是在用戶端或靠近用戶端的小型能源供應(yīng)系統(tǒng),它能夠直接滿足用戶的多種能源需求,如電力、熱能和冷能。
    的頭像 發(fā)表于 04-29 17:26 ?1773次閱讀

    Arm使命助力應(yīng)對 AI 無止盡能源需求

    這些復(fù)雜的 AI 工作負(fù)載,全球數(shù)據(jù)中心所需的計算量需要以指數(shù)級規(guī)模進行擴展。然而,這種對計算無止盡需求也揭示了一個嚴(yán)峻的挑戰(zhàn):數(shù)據(jù)中心需要龐大的電力來驅(qū)動AI這一突破性技術(shù)。 ?
    發(fā)表于 04-23 13:35 ?177次閱讀

    什么是能源管理系統(tǒng)?如何理解其作用與重要性?

    能源是我們生活和經(jīng)濟運行的基石,但隨著全球能源需求的不斷增加,能源資源的有限性以及環(huán)境問題的日益嚴(yán)重,我們迫切需要一種高效的方法來管理和利用能源。
    的頭像 發(fā)表于 03-08 11:03 ?469次閱讀
    什么是<b class='flag-5'>能源</b>管理系統(tǒng)?如何理解其作用與重要性?

    什么是能源管理系統(tǒng)?如何理解其作用與重要性?

    能源是我們生活和經(jīng)濟運行的基石,但隨著全球能源需求的不斷增加,能源資源的有限性以及環(huán)境問題的日益嚴(yán)重,我們迫切需要一種高效的方法來管理和利用能源。
    的頭像 發(fā)表于 03-08 10:46 ?1028次閱讀
    什么是<b class='flag-5'>能源</b>管理系統(tǒng)?如何理解其作用與重要性?

    能源管理系統(tǒng):企業(yè)能源管理的概念、目的和方法

    支持發(fā)展戰(zhàn)略:通過對企業(yè)能源需求與供給的深入剖析,精準(zhǔn)預(yù)測其發(fā)展趨勢,進而制定出科學(xué)合理的能源規(guī)劃與政策,為企業(yè)未來的穩(wěn)健發(fā)展提供堅實的能源保障。
    的頭像 發(fā)表于 12-27 16:51 ?1138次閱讀

    阿里云發(fā)布AI大模型,谷歌地?zé)犴椖?b class='flag-5'>助力綠色能源轉(zhuǎn)型

    與Fervo的合作地?zé)犴椖砍晒Φ叵驍?shù)據(jù)中心輸送清潔能源,展示了利用可再生能源的新途徑,為數(shù)據(jù)中心的綠色轉(zhuǎn)型樹立了新標(biāo)桿。 阿里云發(fā)布720億參數(shù)大型語言模型Qwen-72B,助力多語言AI
    的頭像 發(fā)表于 12-01 20:15 ?799次閱讀
    阿里云發(fā)布<b class='flag-5'>AI</b>大模型,谷歌地?zé)犴椖?b class='flag-5'>助力</b>綠色<b class='flag-5'>能源</b>轉(zhuǎn)型