天數(shù)智芯支持智源研究院首次完成大模型異構(gòu)算力混合訓(xùn)練，突破異構(gòu)算力束縛
11月29日，北京智源人工智能研究院副院長兼總工程師林詠華在2023人工智能計算大會上宣布，正式開源700億參數(shù)大模型Aquila2-70B-Expr（異構(gòu)先驅(qū)版），這是首個基于英偉達混合資源及天數(shù)智芯混合資源完成訓(xùn)練的大模型，也是智源研究院與天數(shù)智芯合作取得的最新成果，再次證明了天數(shù)智芯通用GPU產(chǎn)品支持大模型訓(xùn)練的能力，以及與主流產(chǎn)品的兼容能力。
據(jù)林詠華副院長介紹，為了解決異構(gòu)算力混合訓(xùn)練難題，智源研究院開發(fā)了高效并行訓(xùn)練框架FlagScale，支持異構(gòu)算力混合訓(xùn)練，并在10月開源了FlagScale v0.1版本。此次基于FlagScale v0.2分別在英偉達混合資源（A100集群+A800集群）、天數(shù)智芯混合資源（BI-V100集群+BI-V150集群）完成了Aquila2-70B-Expr大模型訓(xùn)練工作。
天數(shù)智芯在今年上半年搭建了天垓100（BI-V100）算力集群支持智源研究院開展70億參數(shù)大模型訓(xùn)練。在此基礎(chǔ)上，雙方進一步深化合作。天數(shù)智芯首先搭建了128節(jié)點的BI-V100集群環(huán)境，支持智源研究院開展Aquila2-70B-Expr完整訓(xùn)練。訓(xùn)練到20萬步，導(dǎo)出模型并完成總計11項性能指標(biāo)的評估，涉及常識推斷、多任務(wù)語言理解、真實性回答等場景，將基線實驗和對比實驗送到真實數(shù)據(jù)集上進行評測，計算差異在0.28%，在精度上與國際主流集群訓(xùn)練的權(quán)重文件水平相當(dāng)。同時，天數(shù)智芯基于新一代產(chǎn)品天垓150（BI-V150）搭建了16節(jié)點集群環(huán)境，用于智源研究院混合并行訓(xùn)練研究。智源研究院利用120節(jié)點BI-V100集群加上8節(jié)點BI-V150集群進行Aquila2-70B-Expr大模型混合訓(xùn)練，混合集群性能達到上界（理想合池理論峰值）的85.3%。測試結(jié)果顯示，在天數(shù)智芯產(chǎn)品上異構(gòu)訓(xùn)練，對模型性能影響甚微。
END
據(jù)林詠華副院長介紹，為了解決異構(gòu)算力混合訓(xùn)練難題，智源研究院開發(fā)了高效并行訓(xùn)練框架FlagScale，支持異構(gòu)算力混合訓(xùn)練，并在10月開源了FlagScale v0.1版本。此次基于FlagScale v0.2分別在英偉達混合資源（A100集群+A800集群）、天數(shù)智芯混合資源（BI-V100集群+BI-V150集群）完成了Aquila2-70B-Expr大模型訓(xùn)練工作。
天數(shù)智芯在今年上半年搭建了天垓100（BI-V100）算力集群支持智源研究院開展70億參數(shù)大模型訓(xùn)練。在此基礎(chǔ)上，雙方進一步深化合作。天數(shù)智芯首先搭建了128節(jié)點的BI-V100集群環(huán)境，支持智源研究院開展Aquila2-70B-Expr完整訓(xùn)練。訓(xùn)練到20萬步，導(dǎo)出模型并完成總計11項性能指標(biāo)的評估，涉及常識推斷、多任務(wù)語言理解、真實性回答等場景，將基線實驗和對比實驗送到真實數(shù)據(jù)集上進行評測，計算差異在0.28%，在精度上與國際主流集群訓(xùn)練的權(quán)重文件水平相當(dāng)。同時，天數(shù)智芯基于新一代產(chǎn)品天垓150（BI-V150）搭建了16節(jié)點集群環(huán)境，用于智源研究院混合并行訓(xùn)練研究。智源研究院利用120節(jié)點BI-V100集群加上8節(jié)點BI-V150集群進行Aquila2-70B-Expr大模型混合訓(xùn)練，混合集群性能達到上界（理想合池理論峰值）的85.3%。測試結(jié)果顯示，在天數(shù)智芯產(chǎn)品上異構(gòu)訓(xùn)練，對模型性能影響甚微。
這一成果極具商業(yè)價值和應(yīng)用前景，有助于解決智算中心換代升級、增容后新舊計算卡并用難題，為智算中心高效運行提供了新方案。
END
原文標(biāo)題：天數(shù)智芯支持智源研究院首次完成大模型異構(gòu)算力混合訓(xùn)練，突破異構(gòu)算力束縛
文章出處：【微信公眾號：天數(shù)智芯】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
天數(shù)智芯
+關(guān)注
關(guān)注
0文章
94瀏覽量
5474
原文標(biāo)題：天數(shù)智芯支持智源研究院首次完成大模型異構(gòu)算力混合訓(xùn)練，突破異構(gòu)算力束縛
文章出處：【微信號：IluvatarCoreX，微信公眾號：天數(shù)智芯】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
大模型時代的算力需求
現(xiàn)在AI已進入大模型時代，各企業(yè)都爭相部署大模型，但如何保證大模型的算力，以及相關(guān)的穩(wěn)定性和性能，是一個極為重要的問題，帶著這個極為重要的問
發(fā)表于 08-20 09:04
安謀科技異構(gòu)算力組合，破局生成式AI算力挑戰(zhàn)
，“此芯P1”不僅異構(gòu)集成了Armv9 CPU核心與Arm Immortalis GPU，還搭載了安謀科技（中國）有限公司（以下簡稱“安謀科技”）“周易”NPU等自研業(yè)務(wù)產(chǎn)品。憑借高能效的異構(gòu)
安謀科技異構(gòu)算力賦能AI計算，此芯科技首款A(yù)I PC芯片發(fā)布
底座，“此芯P1”不僅異構(gòu)集成了Arm?v9 CPU核心與Arm Immortalis? GPU，還搭載了安謀科技（中國）有限公司（以下簡稱“安謀科技”）“周易”NPU等自研業(yè)務(wù)產(chǎn)品。憑借高能效的異構(gòu)
發(fā)表于 07-31 14:36
?928次閱讀
中國算力中心市場持續(xù)增長,智能算力規(guī)?？焖籴绕?/a>
7月24日，中國信息通信研究院（簡稱“中國信通院”）權(quán)威發(fā)布了《中國算力中心服務(wù)商分析報告（2024年）》，該報告深入剖析了中國算
神州鯤泰亮相北京數(shù)字安全大會，以智能算力構(gòu)筑數(shù)據(jù)安全的堅實底座
GPU資源虛擬化或池化，完成跨集群之間的算力調(diào)度；打造異構(gòu)智算加速平臺HICA，屏蔽集群內(nèi)底層算
異構(gòu)混訓(xùn)整合不同架構(gòu)芯片資源，提高算力利用率
電子發(fā)燒友網(wǎng)報道（文/李彎彎）隨著AI技術(shù)的飛速發(fā)展，大模型的訓(xùn)練和推理任務(wù)對算力的需求日益增長。然而，單一品牌的芯片往往難以滿足所有需求，且可能存在供應(yīng)鏈風(fēng)險。因此，
鯤泰新聞｜神州鯤泰創(chuàng)新智算之旅北京站開幕，發(fā)布全新智算架構(gòu)和液冷整機柜產(chǎn)品應(yīng)對 “多云、異構(gòu)、綠色
5月17日，神州鯤泰智算中國行北京站盛大召開。在本次活動上，神州鯤泰針對用戶對大模型訓(xùn)練、大算力需求的痛點，重磅發(fā)布多云
深度踐行“IaaS on DPU”理念，中科馭數(shù)正式發(fā)布“馭云”高性能云異構(gòu)算力解決方案！
?高性能云異構(gòu)算力解決方案，為企業(yè)提供更快部署、更強性能和更高吞吐的云算力解決方案。 在發(fā)布環(huán)節(jié)，張宇表示：“馭云?高性能云
浙江圖靈算力研究院向知存科技頒發(fā)“年度最具影響力企業(yè)獎”
近日，浙江圖靈算力研究院生態(tài)伙伴聯(lián)誼會在杭州舉行，知存科技作為研究院生態(tài)企業(yè)之一，與賽迪研究院、中科院
燧原科技與青云科技達成戰(zhàn)略合作，創(chuàng)新異構(gòu)算力調(diào)度
，AIGC內(nèi)容生成類模型正在重構(gòu)互聯(lián)網(wǎng)商業(yè)模式，催生數(shù)字經(jīng)濟新突破。隨著計算任務(wù)的多樣化和復(fù)雜化，更為高效和靈活的異構(gòu)計算是未來的發(fā)展方向。燧原的“云燧智算集群”與青云AI
工商網(wǎng)監(jiān)
評論