0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

數(shù)據(jù)中心如何更快、更經(jīng)濟地利用AI?

康普中國 ? 來源:康普中國 ? 2023-11-08 15:21 ? 次閱讀

人氣科幻小說在描繪“機器智能的崛起”時,通常伴隨著激光、爆炸等場景,就算不是這般震撼,至少也會帶有些許哲學(xué)上的恐懼意味。但毋庸置疑的是,人們?nèi)找骊P(guān)注人工智能AI)和機器學(xué)習(xí)(ML)在更廣泛應(yīng)用中的可能性,而且新的應(yīng)用也層出不窮。

目前,數(shù)百萬人已經(jīng)開始通過 ChatGPT 和其他AI界面來嘗試這些想法。但這些用戶中的許多人并沒有意識到,他們通過電腦屏幕與富有好奇心的AI助手之間的交流實際上是由位于全球各地的大型數(shù)據(jù)中心驅(qū)動的。

企業(yè)也在其數(shù)據(jù)中心內(nèi)投資建立自己的AI集群,構(gòu)建、訓(xùn)練并完善自己的AI模型,以滿足其自身商業(yè)利益。這些AI的核心就是由大量 GPU(圖形處理器)機架所構(gòu)成的,其可提供AI模型所需的驚人的并行處理能力,以便對其算法進行詳盡的訓(xùn)練。

在導(dǎo)入數(shù)據(jù)集后,AI推理會對數(shù)據(jù)進行分析,并闡釋其中蘊含的意義。例如,基于貓與狗特征差異進行訓(xùn)練,就能識別出圖片中呈現(xiàn)的是貓還是狗。然后,生成式AI就可以對此數(shù)據(jù)進行處理,以創(chuàng)建全新的圖像或文本。

正是這種“智能”的處理吸引著全球各地的人們、政府和企業(yè)發(fā)揮想象力。據(jù)IDC最新發(fā)布的《全球人工智能支出指南》預(yù)計,2027年中國AI投資規(guī)模有望達(dá)到381億美元,全球占比約9%。近年來,本土人工智能產(chǎn)業(yè)向高質(zhì)量發(fā)展邁進,并加速與各行業(yè)的不同需求的融合落地。然而,創(chuàng)建一個有用的AI算法需要大量的數(shù)據(jù)用于訓(xùn)練,而這是一個成本高昂且耗能的過程。

“智能”源自高效的訓(xùn)練

數(shù)據(jù)中心一般都有著離散式的AI和計算集群,他們協(xié)同工作以提供訓(xùn)練AI算法的數(shù)據(jù)。這些高能耗 GPU 產(chǎn)生的熱量限制了在給定機架空間內(nèi)能夠安裝GPU的數(shù)量,因此必須優(yōu)化物理布局。另一個令人擔(dān)憂的問題是,光纖線纜線路過長會增加插入損耗。

光纖是一種高效、低損耗、低延遲的基礎(chǔ)設(shè)施,AI集群的運行速度可達(dá) 100G 或 400G。然而,隨著大量數(shù)據(jù)在AI集群中傳輸,每增加一米光纖布線,都會帶來成本高昂的延遲和損耗。

一般認(rèn)為,訓(xùn)練大規(guī)模AI所需的時間中,約有三成消耗在網(wǎng)絡(luò)延遲上,其余七成用于計算時間。任何減少延遲的機會,哪怕是通過減少 10 米光纖來減少 50 納秒的延遲,都能節(jié)省大量的時間和成本??紤]到訓(xùn)練這樣一個大型AI模型動輒需要花費 1000 萬美元或更多,延遲的代價就非常明顯了。

縮減光纖米數(shù)、延遲納秒數(shù)和功耗瓦數(shù)

運營商應(yīng)仔細(xì)考慮在AI集群中使用哪些光收發(fā)器和光纜,以最大限度地降低成本和功耗。由于光纖運行必須盡可能短,因此光學(xué)成本將取決于收發(fā)器。使用并行光纖的收發(fā)器的優(yōu)勢在于其無需用于波分復(fù)用的光復(fù)用器和解復(fù)用器。因此,使用并行光纖的收發(fā)器成本和功耗都更低。收發(fā)器成本的節(jié)省足以抵消多芯光纜(而非雙工光纜)成本的小幅增加。例如,使用8芯光纜的 400G-DR4 收發(fā)器比使用雙工光纜的 400G-FR4 收發(fā)器更具成本效益。

單模光纖和多模光纖應(yīng)用可支持長達(dá) 100 米的鏈路。硅光等技術(shù)的進步降低了單模收發(fā)器的成本,使其接近同等多模收發(fā)器的成本。對于高速收發(fā)器(400G +)而言,單模收發(fā)器的成本往往是同等多模收發(fā)器成本的兩倍。雖然多模光纖的成本略高于單模光纖,但由于多模光纖線纜成本主要取決于 MPO 連接器,因此多模和單模之間的線纜成本差異較小。

此外,高速多模收發(fā)器的功耗比單模收發(fā)器低一到兩瓦。單一AI集群中最多有 768 個收發(fā)器,使用多模光纖的設(shè)置將節(jié)省高達(dá) 1.5 千瓦的功率。與每臺 GPU 服務(wù)器 10 千瓦的功耗相比,這似乎微不足道,但對于AI集群而言,任何節(jié)省功耗的機會都能在AI訓(xùn)練和運行過程中節(jié)省大量費用。

收發(fā)器與AOC

許多 AI/ML 集群和 HPC 使用有源光纜(AOC)來實現(xiàn) GPU 和交換機之間的互連。有源光纜是一種設(shè)備直連線纜,兩端集成了光發(fā)射器和接收器。大多數(shù)有源光纜用于短距離傳輸,其通常使用多模光纖和 VCSEL光源。高速(>40G)有源光纜和連接光收發(fā)器的光纜相同,使用的都是 OM3 或 OM4 光纖。AOC 中的發(fā)射器和接收器可能與同類收發(fā)器中的發(fā)射器和接收器相同,但它們不一定適合所有場合使用。每個發(fā)射器和接收器都不需要滿足嚴(yán)格的互操作性規(guī)范,它們只需要與連接到光纜另一端的特定設(shè)備一同運行即可。由于安裝人員無法接觸到光纖連接器,因此無需具備清潔和檢查光纖連接器的技能。

AOC 的缺點是不具備收發(fā)器能提供的靈活性。安裝 AOC 需要耗費大量時間,因為必須在連接著收發(fā)器的情況下布線。正確安裝帶分支的 AOC 尤其具有挑戰(zhàn)性。AOC 的故障率是同等收發(fā)器的兩倍。當(dāng) AOC 出現(xiàn)故障時,新的 AOC 必須通過網(wǎng)絡(luò)來布線,這也就占用了計算時間。最后,當(dāng)需要升級網(wǎng)絡(luò)鏈路時,必須移除 AOC 并用新的 AOC 取而代之。對于收發(fā)器,光纖布線是基礎(chǔ)設(shè)施的一部分,并且可以在幾代數(shù)據(jù)速率下保持不變。

結(jié)論

AI/ML 已經(jīng)到來,并將成為人、企業(yè)和設(shè)備之間交互方式中更重要、更集成的一部分。但不可否認(rèn)的是,雖然與AI服務(wù)的交互可以在手機上實現(xiàn),但它仍然依賴于大型數(shù)據(jù)中心基礎(chǔ)設(shè)施和算力的驅(qū)動,而能夠快速高效地訓(xùn)練AI的企業(yè)將在當(dāng)前瞬息萬變、超級互聯(lián)的世界中占據(jù)重要的一席之地。如若當(dāng)下投資于先進的光纖基礎(chǔ)設(shè)施以推動AI的訓(xùn)練和運行,日后就會收獲令人難以置信的成果。







審核編輯:劉清

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1787

    文章

    46060

    瀏覽量

    234980
  • 圖形處理器
    +關(guān)注

    關(guān)注

    0

    文章

    193

    瀏覽量

    25379
  • 機器學(xué)習(xí)
    +關(guān)注

    關(guān)注

    66

    文章

    8306

    瀏覽量

    131841
  • GPU芯片
    +關(guān)注

    關(guān)注

    1

    文章

    303

    瀏覽量

    5747

原文標(biāo)題:康普觀點:數(shù)據(jù)中心如何更快、更經(jīng)濟地利用AI

文章出處:【微信號:康普中國,微信公眾號:康普中國】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    AI時代,我們需要怎樣的數(shù)據(jù)中心AI重新定義數(shù)據(jù)中心

    超過60%的中國企業(yè)計劃在未來12至24個月內(nèi)部署生成式人工智能。AI、模型的構(gòu)建,將顛覆數(shù)據(jù)中心基礎(chǔ)設(shè)施的建設(shè)、運維和運營。一個全新的數(shù)據(jù)中心智能化時代已經(jīng)拉開序幕。
    發(fā)表于 07-16 11:33 ?286次閱讀
    <b class='flag-5'>AI</b>時代,我們需要怎樣的<b class='flag-5'>數(shù)據(jù)中心</b>?<b class='flag-5'>AI</b>重新定義<b class='flag-5'>數(shù)據(jù)中心</b>

    數(shù)據(jù)中心液冷需求、技術(shù)及實際應(yīng)用

    夏日炎炎,數(shù)據(jù)中心制冷技術(shù)全新升級,液冷散熱,讓服務(wù)器清涼一夏。本文將帶您一起探索數(shù)據(jù)中心液冷需求、技術(shù)及實際應(yīng)用。 1 數(shù)據(jù)中心液冷需求 AI浪潮來襲,
    的頭像 發(fā)表于 06-19 11:12 ?521次閱讀
    <b class='flag-5'>數(shù)據(jù)中心</b>液冷需求、技術(shù)及實際應(yīng)用

    夏普攜手KDDI共建AI數(shù)據(jù)中心

    夏普公司近日宣布,為設(shè)立面向人工智能(AI)的數(shù)據(jù)中心,已與KDDI等公司達(dá)成合作意向。根據(jù)計劃,夏普將充分利用其全資子公司堺顯示器產(chǎn)品公司(SDP)的場地,該公司在今年9月底前將停產(chǎn)大型液晶面板,為新的
    的頭像 發(fā)表于 06-05 10:06 ?338次閱讀

    HNS 2024:星河AI數(shù)據(jù)中心網(wǎng)絡(luò),賦AI時代新動能

    華為數(shù)據(jù)通信創(chuàng)新峰會2024在巴庫隆重舉辦,在“星河AI數(shù)據(jù)中心網(wǎng)絡(luò),賦AI時代新動能”主題論壇中,華為面向中東中亞地區(qū)發(fā)布星河AI
    的頭像 發(fā)表于 05-15 09:15 ?437次閱讀
    HNS 2024:星河<b class='flag-5'>AI</b><b class='flag-5'>數(shù)據(jù)中心</b>網(wǎng)絡(luò),賦<b class='flag-5'>AI</b>時代新動能

    #mpo極性 #數(shù)據(jù)中心mpo

    數(shù)據(jù)中心MPO
    jf_51241005
    發(fā)布于 :2024年04月07日 10:05:13

    #mpo光纖跳線 #數(shù)據(jù)中心光纖跳線

    光纖數(shù)據(jù)中心
    jf_51241005
    發(fā)布于 :2024年03月22日 10:18:31

    #光纖彎曲 #光纖衰減 #數(shù)據(jù)中心光纖

    光纖數(shù)據(jù)中心
    jf_51241005
    發(fā)布于 :2024年03月08日 09:59:50

    #MPO預(yù)端接 #數(shù)據(jù)中心機房 #機房布線

    數(shù)據(jù)中心MPO
    jf_51241005
    發(fā)布于 :2024年03月01日 11:12:47

    #永久鏈路 #信道測試 #數(shù)據(jù)中心

    數(shù)據(jù)中心
    jf_51241005
    發(fā)布于 :2024年02月23日 10:17:58

    #緊套光纜 #松套光纜 #數(shù)據(jù)中心

    數(shù)據(jù)中心光纜
    jf_51241005
    發(fā)布于 :2024年01月26日 09:44:11

    #光纜水峰 #綜合布線光纜 #數(shù)據(jù)中心

    數(shù)據(jù)中心光纜
    jf_51241005
    發(fā)布于 :2024年01月15日 09:43:26

    #預(yù)端接光纜 #24芯光纜 #數(shù)據(jù)中心

    數(shù)據(jù)中心光纜
    jf_51241005
    發(fā)布于 :2023年12月08日 11:01:21

    大模型時代,數(shù)據(jù)中心將轉(zhuǎn)向何方?

    數(shù)據(jù)中心大模型
    腦極體
    發(fā)布于 :2023年11月22日 09:01:41

    適用于數(shù)據(jù)中心AI 時代的網(wǎng)絡(luò)

    十多年來,傳統(tǒng)的云數(shù)據(jù)中心一直是計算基礎(chǔ)設(shè)施的基石,滿足了各種用戶和應(yīng)用程序的需求。然而,近年來,為了跟上技術(shù)的進步和對 AI 驅(qū)動的計算需求的激增,數(shù)據(jù)中心進行了發(fā)展。 本文探討了網(wǎng)絡(luò)在塑造
    的頭像 發(fā)表于 10-27 20:05 ?446次閱讀
    適用于<b class='flag-5'>數(shù)據(jù)中心</b>和 <b class='flag-5'>AI</b> 時代的網(wǎng)絡(luò)

    數(shù)據(jù)中心能耗越來越大,氮化鎵會是效救星嗎?

    AI的蓬勃發(fā)展下,數(shù)據(jù)中心對電力與運算的需求呈正比成長,激增的用電量不僅對營運效率造成壓力,成為數(shù)據(jù)中心達(dá)成凈零排放目標(biāo)的阻礙。當(dāng)前數(shù)據(jù)中心
    的頭像 發(fā)表于 10-18 16:28 ?626次閱讀