Eleuther AI：已經(jīng)開(kāi)源了復(fù)現(xiàn)版GPT-3的模型參數(shù)

GPT3終于開(kāi)源！不過(guò)，不是官方開(kāi)的（別打我

Eleuther AI推出的名為GPT-Neo的開(kāi)源項(xiàng)目，于晨4點(diǎn)于twitter正式宣布：已經(jīng)開(kāi)源了復(fù)現(xiàn)版GPT-3的模型參數(shù)（1.3B和2.7B級(jí)別），并將其更新在Colab notebook之上。需要指出的是這次開(kāi)源的模型里較大的那個(gè)版本也只是到了GPT-3商用版里最小模型的參數(shù)量，不過(guò)Eleuther AI表示未來(lái)會(huì)進(jìn)一步開(kāi)源10B版本和原始大小版本的GPT3模型參數(shù)。

消息發(fā)布后，立刻被各個(gè)大v轉(zhuǎn)發(fā)，10小時(shí)內(nèi)就已迅速收獲1.5K的點(diǎn)贊量，相應(yīng)的github鏈接也已收獲接近2k star。

▲Twitter原文

但關(guān)于復(fù)現(xiàn)模型的性能，目前只說(shuō)“實(shí)驗(yàn)表現(xiàn)與原版GPT-3相當(dāng)”（they performed on par）。具體實(shí)驗(yàn)結(jié)果將于明天公布。

風(fēng)靡一時(shí)的擁有1750億超大參數(shù)量，一出道便被視作NLP領(lǐng)域最強(qiáng)AI模型的GPT-3，得益于其龐大的參數(shù)量，使得GPT-3擁有不用接受特定訓(xùn)練與微調(diào)，就能在不同NLP領(lǐng)域達(dá)到領(lǐng)先水平的強(qiáng)大能力。去年七月，GPT-3被Open-AI以商業(yè)API的形式向公眾開(kāi)放，并被人們探索出了形形色色的應(yīng)用，從基于問(wèn)題的搜索，到文本樣式轉(zhuǎn)換，從UI界面設(shè)計(jì)，再到自動(dòng)生成SQL代碼，GPT-3以其卓越的性能展現(xiàn)了其廣闊的應(yīng)用場(chǎng)景，深度學(xué)習(xí)之父Hinton甚至這樣評(píng)價(jià)道:

如果以GPT-3的出色性能推算未來(lái)、生命、宇宙和萬(wàn)物的答案也不過(guò)是4.398萬(wàn)億個(gè)參數(shù)

但是，由于目前GPT-3的使用模式仍然是付費(fèi)的商業(yè)API，因此并不是所有NLP的研究者都能使用GPT-3完成自己領(lǐng)域的任務(wù)與工作。而由Connor Leahy，Leo Gao和Sid Black三人聯(lián)合創(chuàng)立的Eleuther AI的團(tuán)隊(duì)，于去年11月宣布推出GPT-Neo的開(kāi)源項(xiàng)目，該項(xiàng)目基于GPT系列的設(shè)計(jì)原理，旨在復(fù)現(xiàn)GPT系列的各種項(xiàng)目，在該項(xiàng)目發(fā)布之初，其團(tuán)隊(duì)成員已經(jīng)預(yù)測(cè)可以完成GPT-3級(jí)別大小的語(yǔ)言模型。

毫無(wú)疑問(wèn)，GPT-3的開(kāi)源將會(huì)催生出一大批NLP技術(shù)的嶄新應(yīng)用，也會(huì)以更為低廉的成本釋放人們對(duì)NLP未來(lái)的想象力。

原文標(biāo)題：【GPT-3】千呼萬(wàn)喚始出來(lái)——GPT-3終于開(kāi)源！

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯:haq