由于模型越來越大,訓(xùn)練過程中硬件的優(yōu)化變得尤為重要。從2019年下半年開始,各家分別開發(fā)出大規(guī)模并行訓(xùn)練、模型擴(kuò)展技術(shù),以期開發(fā)出更大的NLP模型。英偉達(dá)Megatron-LM、谷歌T5、微軟Turing-NLG相繼出現(xiàn)。
2020年6月OpenAI在發(fā)布了GPT-3,這是當(dāng)時(shí)訓(xùn)練的最大模型,具有1750億個(gè)參數(shù)。近段時(shí)間,浪潮、英偉達(dá)與微軟相繼發(fā)布2500億參數(shù)、5300億參數(shù)的巨量模型,超過GPT-3。
中國工程院院士王恩東認(rèn)為,人工智能的大模型時(shí)代已經(jīng)到來,利用先進(jìn)算法,整合大規(guī)模數(shù)據(jù),匯聚大量算力,訓(xùn)練出巨量人工智能模型是未來的發(fā)展方向……
英偉達(dá)與微軟聯(lián)合發(fā)布了5300億參數(shù)的“威震天-圖靈”
上周,英偉達(dá)與微軟聯(lián)合發(fā)布了5300億參數(shù)的“威震天-圖靈”自然語言生成模型(Megatron-TuringNLG)。據(jù)介紹,這樣的量級不僅讓它成為全球規(guī)模最大,同時(shí)也是性能最強(qiáng)的NLP模型。
訓(xùn)練過程一共使用了4480塊英偉達(dá)A100 GPU,最終使該模型在一系列自然語言任務(wù)中——包括文本預(yù)測、閱讀理解、常識推理、自然語言推理、詞義消歧——都獲得了前所未有的準(zhǔn)確率。
此模型簡稱MT-NLG,是微軟Turing NLG和英偉達(dá)Megatron-LM兩者的“繼任者”。Turing NLG由微軟于2020年2月推出,參數(shù)為170億;Megatron-LM來自英偉達(dá),2019年8月推出,參數(shù)83億。它倆在當(dāng)時(shí)分別是第一、二大規(guī)模的Transfomer架構(gòu)模型。
我們都知道大參數(shù)規(guī)模的語言模型效果會更好,但訓(xùn)練起來也很有挑戰(zhàn)性,比如:即使是最大容量的GPU,也存不下如此規(guī)模的參數(shù);如果不特別注意優(yōu)化算法、軟件和硬件堆棧,那么所需的大量計(jì)算操作可能會導(dǎo)致訓(xùn)練時(shí)間過長。
那這個(gè)參數(shù)已是GPT-3三倍的MT-NLG又是如何解決的呢?答案就是汲取“兩家”所長,融合英偉達(dá)最先進(jìn)的GPU加速訓(xùn)練設(shè)備,以及微軟最先進(jìn)的分布式學(xué)習(xí)系統(tǒng),來提高訓(xùn)練速度。并用上千億個(gè)token構(gòu)建語料庫,共同開發(fā)訓(xùn)練方法來優(yōu)化效率和穩(wěn)定性。
具體來說,通過借鑒英偉達(dá)Megatron-LM模型的GPU并行處理,以及微軟開源的分布式訓(xùn)練框架DeepSpeed,創(chuàng)建3D并行系統(tǒng)。對于本文中這個(gè)5300億個(gè)參數(shù)的模型,每個(gè)模型副本跨越280個(gè)NVIDIA A100 GPU,節(jié)點(diǎn)內(nèi)采用Megatron-LM的8路張量切片(tensor-slicing),節(jié)點(diǎn)間采用35路管道并行(pipeline parallelism)。
然后再使用DeepSpeed的數(shù)據(jù)并行性進(jìn)一步擴(kuò)展到數(shù)千個(gè)GPU。最終在基于NVIDIA DGX SuperPOD的Selene超級計(jì)算機(jī)上完成混合精度訓(xùn)練。(該超級計(jì)算機(jī)由560個(gè)DGX A100服務(wù)器提供支持,每個(gè)DGX A100有8個(gè) NVIDIA A100 80GB Tensor Core GPU,通過NVLink 和 NVSwitch相互完全連接)。
該模型使用了Transformer解碼器的架構(gòu),層數(shù)、hidden dimension和attention head分別為 105、20480和128。訓(xùn)練所用數(shù)據(jù)集包括近20萬本書的純文本數(shù)據(jù)集Books3、問答網(wǎng)站Stack Exchange、維基百科、學(xué)術(shù)資源網(wǎng)站PubMed Abstracts、ArXiv、維基百科、GitHub等等,這些都是從他們先前搭建的Pile數(shù)據(jù)集中挑出的質(zhì)量較高的子集。最終一共提取了2700億個(gè)token。
浪潮發(fā)布2500億參數(shù)的中文AI巨量模型“源1.0”
9月28日,浪潮人工智能研究院發(fā)布浪潮發(fā)布了2500億參數(shù)的中文AI巨量模型“源1.0”。
“源1.0”不僅有高達(dá)5TB的全球最大中文高質(zhì)量數(shù)據(jù)集,在總計(jì)算量和訓(xùn)練效率優(yōu)化上都是空前的。源1.0幾乎把近5年整個(gè)中文互聯(lián)網(wǎng)的浩瀚內(nèi)容全部讀完,在收集并清洗數(shù)據(jù)后,最終獲得5TB高質(zhì)量數(shù)據(jù),成為迄今業(yè)界最大的高質(zhì)量中文數(shù)據(jù)集。
在語言智能方面,源1.0獲得中文語言理解評測基準(zhǔn)CLUE榜單零樣本學(xué)習(xí)和小樣本學(xué)習(xí)兩類總榜冠軍,獲得小樣本學(xué)習(xí)的文獻(xiàn)分類、商品分類、文獻(xiàn)摘要識別、名詞代詞關(guān)系等4項(xiàng)任務(wù)冠軍。
“在數(shù)據(jù)量、參數(shù)規(guī)模與模型精度方面,源1.0均居全球之最?!崩顺比斯ぶ悄苎芯吭菏紫芯繂T吳韶華說。對標(biāo)OpenAI的GPT-3,源1.0參數(shù)規(guī)模為2457億,訓(xùn)練采用的中文數(shù)據(jù)集達(dá)5TB。相比GPT-3模型1750億參數(shù)量和570GB訓(xùn)練數(shù)據(jù)集,源1.0參數(shù)規(guī)模領(lǐng)先40%,訓(xùn)練數(shù)據(jù)集規(guī)模領(lǐng)先近10倍。
“得益于我們設(shè)計(jì)模型時(shí),對精度和計(jì)算性能的協(xié)同?!眳巧厝A說,“在算法上,我們解決了巨量模型訓(xùn)練不穩(wěn)定的業(yè)界難題,提出穩(wěn)定訓(xùn)練巨量模型的算法,打造了巨量模型推理方法創(chuàng)新;在數(shù)據(jù)方面,我們生成了迄今業(yè)界最大的高質(zhì)量中文數(shù)據(jù)集;在算力上,我們通過算法與算力協(xié)同優(yōu)化,極大提升了計(jì)算效率,在實(shí)現(xiàn)業(yè)界訓(xùn)練性能第一的同時(shí),還達(dá)到了業(yè)界領(lǐng)先的精度。”
巨量模型是未來的發(fā)展方向
“認(rèn)知智能是人工智能研究者追求的方向之一。”中國工程院院士王恩東告訴《中國科學(xué)報(bào)》,“除了加速深度學(xué)習(xí)技術(shù),開發(fā)全新的算法范式研究方向外,大規(guī)模數(shù)據(jù)訓(xùn)練超大參數(shù)量的巨量模型也是未來發(fā)展方向,即利用先進(jìn)的算法,整合大規(guī)模的數(shù)據(jù),匯聚大量算力,訓(xùn)練出巨量人工智能模型?!?br />
2020年6月,OpenAI發(fā)布了參數(shù)量高達(dá)1750億的大模型GPT-3,該模型一推出就引起人工智能學(xué)界和業(yè)界的轟動(dòng)?!罢Z言模型是全球AI界的‘必爭之地’?!币晃蝗斯ぶ悄苎芯款I(lǐng)域的專家說,“參數(shù)規(guī)模大到遠(yuǎn)超我們想象的時(shí)候,會發(fā)生一些難以解釋的現(xiàn)象。”
浪潮信息副總裁劉軍同樣認(rèn)為,生命從簡單進(jìn)化到復(fù)雜,這種智能水平本身就是一種模型。如果把模型比作元宇宙中的生命,大模型的這種綜合系統(tǒng)能力,可能會決定未來數(shù)字世界和智能世界里的智能水平。“人的神經(jīng)元突觸超過100萬億,而現(xiàn)有大模型的參數(shù)量還遠(yuǎn)遠(yuǎn)不夠,所以我們還有很遠(yuǎn)路要走”。
伴隨著人工智能應(yīng)用廣度與深度的不斷提升,眾多行業(yè)、諸多業(yè)務(wù)場景的智能化創(chuàng)新需求日益增多。然而當(dāng)前大多數(shù)AI模型只能用于某一特定領(lǐng)域,通用性不強(qiáng),這對AI技術(shù)提出了挑戰(zhàn),也限制了AI的產(chǎn)業(yè)化進(jìn)程。
大模型在今天初露崢嶸絕非偶然。技術(shù)、算力、資源、需求等多因素的“風(fēng)云際會”,讓被AI業(yè)界視為“核力量”的大模型嶄露頭角。
電子發(fā)燒友綜合報(bào)道,參考自量子位、浪潮服務(wù)器
-
微軟
+關(guān)注
關(guān)注
4文章
6516瀏覽量
103605 -
浪潮
+關(guān)注
關(guān)注
1文章
442瀏覽量
23711 -
英偉達(dá)
+關(guān)注
關(guān)注
22文章
3637瀏覽量
89851
發(fā)布評論請先 登錄
相關(guān)推薦
評論