【導(dǎo)讀】微軟最近一篇論文爆料,GPT-3.5的參數(shù)量只有20B,遠(yuǎn)遠(yuǎn)小于之前GPT-3公布175B。網(wǎng)友表示,ChatGPT能力似乎「配得上」這個(gè)體量?
GPT-3.5只有200億參數(shù)?
今天,大模型圈都被微軟論文中的一紙截圖刷爆了,究竟是怎么回事?
就在前幾天,微軟發(fā)表了篇論文并掛在了arXiv上,該論文提出了一個(gè)參數(shù)量只有75M的小規(guī)模擴(kuò)散模型——CodeFusion。
性能方面,7500萬(wàn)參數(shù)的CodeFusion在top-1準(zhǔn)確率指標(biāo)上,可以與最先進(jìn)的350M-175B模型相媲美。
論文地址:https://arxiv.org/abs/2310.17680
這篇論文的工作很有意義,但引起大家格外注意的卻是——
作者在對(duì)比ChatGPT(gpt-3.5-turbo)時(shí),標(biāo)稱的參數(shù)量竟然只有20B!
在此之前,大家針對(duì)GPT-3.5參數(shù)量的猜測(cè)都是1750億,這相當(dāng)于是縮減了差不多十倍!
根據(jù)這篇論文的爆料,網(wǎng)友還去維基百科上更新了GPT-3.5的介紹,直接把參數(shù)大小改成了20B。
消息一出,直接登上知乎熱搜,網(wǎng)友們都炸了。
有人表示,趕緊回頭再把我之前模型蒸餾的博文拿出來(lái)復(fù)習(xí)復(fù)習(xí) 。
是「烏龍」還是「事實(shí)」?
網(wǎng)友的爆料貼一出,瞬間就引發(fā)了激烈的討論。
目前,已經(jīng)有超過(guò)68萬(wàn)人前來(lái)圍觀。
這位老哥表示,論文的幾位作者也都在用推特,估計(jì)過(guò)不了多久就會(huì)親自下場(chǎng)解釋。
而對(duì)于這個(gè)神秘的「20B」,網(wǎng)友們也是眾說(shuō)紛紜。
有人猜測(cè),這很可能是作者手誤打錯(cuò)了。比如原本是120B,或者200B。
結(jié)合現(xiàn)實(shí)中的各項(xiàng)評(píng)測(cè)來(lái)看,確實(shí)有很多小模型能夠取得和ChatGPT差不多的成績(jī),比如Mistral-7B。
也許,這也是側(cè)面證實(shí)了GPT-3.5體量真的不大。
很多網(wǎng)友也認(rèn)為20B的參數(shù)可能是準(zhǔn)確的,紛紛發(fā)出感嘆:
「這也太難以想象了!Falcon-180B和Llama2-70B,竟然都無(wú)法擊敗這款20B的模型?!?/p>
也有網(wǎng)友認(rèn)為,gpt-3.5-turbo是精煉版的gpt-3.5。
而這次參數(shù)的「泄露」,正好從側(cè)面印證了那些關(guān)于gpt-3.5-turbo表現(xiàn)不如舊版gpt-3.5的傳言。
不過(guò),根據(jù)OpenAI的官方文檔,除了已經(jīng)不再使用的text-davinci和code-davinci,GPT-3.5家族全員都是基于gpt-3.5-turbo構(gòu)成的。
微軟發(fā)布CodeFusion
而爆出GPT3.5只有20B參數(shù)的微軟論文,是想介紹一個(gè)用于代碼生成的擴(kuò)散模型。
研究人員針對(duì)Bash、Python和Microsoft Excel條件格式(CF)規(guī)則的自然語(yǔ)言生成代碼的任務(wù)來(lái)評(píng)估這個(gè)模型——CodeFusion。
實(shí)驗(yàn)表明,CodeFusion(只有75M參數(shù))在top-1精度方面與最先進(jìn)的LLM(350M-175B參數(shù))相當(dāng),并且在top-3和top-5精度方面性能和參數(shù)比非常優(yōu)秀。
模型架構(gòu)CODEFUSION用于代碼生成任務(wù),它的訓(xùn)練分為兩個(gè)階段,第一階段是無(wú)監(jiān)督預(yù)訓(xùn)練,第二階段是有監(jiān)督微調(diào)。
在第一階段,CODEFUSION使用未標(biāo)記的代碼片段來(lái)訓(xùn)練降噪器和解碼器。它還使用可訓(xùn)練的嵌入層L,將代碼片段嵌入到連續(xù)空間中。
在第二階段,CODEFUSION進(jìn)行有監(jiān)督的微調(diào),使用來(lái)自文本-代碼對(duì)數(shù)據(jù)。在這個(gè)階段,編碼器、降噪器和解碼器都會(huì)得到調(diào)整,以更好地執(zhí)行任務(wù)。
此外,CODEFUSION還借鑒了之前有關(guān)文本擴(kuò)散的研究成果,將來(lái)自解碼器的隱藏表示D融合到模型中。這是為了改進(jìn)模型的性能。在訓(xùn)練過(guò)程中,在不同step中,模型引入一些噪聲,然后計(jì)算損失函數(shù),以確保生成的代碼片段更符合預(yù)期的標(biāo)準(zhǔn)。
總之,CODEFUSION是一個(gè)執(zhí)行代碼生成工作的小模型,通過(guò)兩個(gè)階段的訓(xùn)練和噪聲引入來(lái)不斷提升其性能。這個(gè)模型的靈感來(lái)自于文本擴(kuò)散的研究,并通過(guò)融合解碼器的隱藏表示來(lái)改進(jìn)損失函數(shù),以更好地生成高質(zhì)量的代碼片段。
評(píng)估結(jié)果
下表總結(jié)了CODEFUSION模型與各個(gè)基線模型在top-1、top-3和top-5設(shè)置下的性能表現(xiàn)。
在top-1中,CODEFUSION的性能與自回歸模型相媲美,甚至在某些情況下表現(xiàn)更出色,尤其是在Python任務(wù)中,只有GPT-3(175B)的性能稍微優(yōu)于CODEFUSION(75M)。然而,在top-3和top-5方面,CODEFUSION明顯優(yōu)于所有基線模型。
表下表展示了CODEFUSION和自回歸模型(包括T5、CodeT5、StarCoder、CodeGen、GPT-3)在各項(xiàng)基準(zhǔn)任務(wù)上的平均多樣性結(jié)果,考察了每個(gè)模型的前5代生成結(jié)果。
相對(duì)于自回歸模型,CODEFUSION生成更加多樣化的結(jié)果,表現(xiàn)更出色。
在消融實(shí)驗(yàn)中,作者停止了去噪過(guò)程,并生成了在時(shí)間步t∈[0, T]范圍內(nèi)的當(dāng)前狀態(tài)的代碼片段。利用歸一化字符串編輯距離來(lái)衡量每個(gè)時(shí)間步長(zhǎng)(每100步為一個(gè)增量)所獲得的結(jié)果。
這一方法有助于總結(jié)和展示CODEFUSION模型的逐步進(jìn)展,如下圖所示。
說(shuō)了這么多,GPT-3.5的參數(shù)量到底是多少?GPT-4與GPT-3.5在技術(shù)和其他方面有著什么樣的聯(lián)系?
GPT-3.5是一個(gè)個(gè)小專家模型的集成還是一個(gè)通才模型?是通過(guò)更大模型的蒸餾還是更大數(shù)據(jù)訓(xùn)練?
這些問(wèn)題的答案只能等到真正開(kāi)源的時(shí)候才能揭曉了。
-
AI
+關(guān)注
關(guān)注
87文章
28877瀏覽量
266249 -
模型
+關(guān)注
關(guān)注
1文章
3032瀏覽量
48369 -
ChatGPT
+關(guān)注
關(guān)注
28文章
1517瀏覽量
6943
原文標(biāo)題:AI圈巨震!微軟論文聲稱ChatGPT是20B(200億)參數(shù)量的模型?
文章出處:【微信號(hào):CVer,微信公眾號(hào):CVer】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論