最近,GPT-3火了!相信你已經(jīng)在網(wǎng)上看到各種有關(guān)GPT-3的演示。這個(gè)由OpenAI創(chuàng)建的大型機(jī)器學(xué)習(xí)模型,它不僅可以自己寫(xiě)論文,還會(huì)寫(xiě)詩(shī)歌,就連你寫(xiě)的代碼都能幫你寫(xiě)了。 下面還是先讓你看看GPT-3的威力吧,首先來(lái)看看GPT3在問(wèn)答任務(wù)上的表現(xiàn):
無(wú)論你的問(wèn)題是天馬行空的腦筋急轉(zhuǎn)彎,還是有邏輯性極強(qiáng)的數(shù)學(xué)問(wèn)題,它都能對(duì)答如流。 開(kāi)發(fā)者Sharif Shameem用GPT-3做了一個(gè)生成器,你只要輸入你所需的布局,它就能為你生成JSX代碼。如下視頻所示:
還有人在 Google 表格里開(kāi)發(fā)了一個(gè)新的 GPT3 函數(shù),除了簡(jiǎn)單的數(shù)學(xué)運(yùn)算之外,它還可以自動(dòng)查找美國(guó)各州的人口以及創(chuàng)建年份:
除此之外,它還能查到Twitter賬號(hào):
遺憾的是,如果你想試用GPT-3,你得先拿到體驗(yàn)資格才行,但是此模型創(chuàng)建的應(yīng)用程序似乎有無(wú)限可能,通過(guò)它你可以使用純英語(yǔ)查詢(xún)SQL數(shù)據(jù)庫(kù),自動(dòng)注釋代碼,自動(dòng)生成代碼,編寫(xiě)熱門(mén)文章標(biāo)題,甚至幫助猿妹我寫(xiě)出一篇爆文。 GPT-3是什么? GPT-3是一種神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)的語(yǔ)言模型。與大多數(shù)語(yǔ)言模型一樣,GPT-3在未標(biāo)記的文本數(shù)據(jù)集上進(jìn)行了大量的訓(xùn)練(訓(xùn)練數(shù)據(jù)包括Common Crawl和Wikipedia),從文本中隨機(jī)刪除單詞或短語(yǔ),并且模型必須學(xué)會(huì)僅使用周?chē)膯卧~作為上下文來(lái)填充單詞或短語(yǔ)。這是一個(gè)簡(jiǎn)單的培訓(xùn)任務(wù),可以產(chǎn)生功能強(qiáng)大且可推廣的模型。 GPT-3模型架構(gòu)本身就是一個(gè)基于單向transformer語(yǔ)言模型。這種架構(gòu)在2-3年前開(kāi)始流行,流行的NLP模型BERT和GPT-3的前身GPT-2都是基于transformer構(gòu)建。從架構(gòu)的角度來(lái)看,GPT-3實(shí)際上并不是很新穎!
它之所以會(huì)這么火,是因?yàn)镚PT-3的模型尺寸增大到了1750億,并且使用45TB數(shù)據(jù)進(jìn)行訓(xùn)練,是有史以來(lái)創(chuàng)建的最大語(yǔ)言模型。源于它的參數(shù)模型巨大,因此可以完成許多其他模型無(wú)法完成的事情,就像前面所說(shuō)的,你可以讓它成為一名翻譯家、作家、詩(shī)人、程序員等。 如果你對(duì)GPT-3的模型參數(shù)1750億感到有些抽象,那么,我舉個(gè)例子,你應(yīng)該就懂了:
BERT模型有3億參數(shù)
GPT-3模型的前身GPT-2有15億個(gè)參數(shù)
英偉達(dá)的Megatron-BERT有80億參數(shù)
微軟Turing NLP,有170億參數(shù)
就連排名第二的微軟Turing NLP的數(shù)據(jù)參數(shù)和GPT-3都不是一個(gè)量級(jí)的。
值得一提的是,這次的GPT-3論文作者足足有31位,論文體量更是高達(dá)72頁(yè),網(wǎng)友都驚呼,現(xiàn)在PTM的工作是要開(kāi)始pk論文頁(yè)數(shù)了嗎?
和往常一樣,GPT-3立即放出了GitHub項(xiàng)目頁(yè)面,你可以在上面找到各種各樣有趣的demo,最后附上Github地址:https://github.com/openai/gpt-3。推薦↓↓↓
原文標(biāo)題:敲代碼、作詩(shī)、寫(xiě)論文無(wú)所不能!史上最大AI模型GPT-3強(qiáng)勢(shì)霸榜Github
文章出處:【微信公眾號(hào):人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
責(zé)任編輯:haq
-
AI
+關(guān)注
關(guān)注
87文章
29013瀏覽量
266449 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8308瀏覽量
131903
原文標(biāo)題:敲代碼、作詩(shī)、寫(xiě)論文無(wú)所不能!史上最大AI模型GPT-3強(qiáng)勢(shì)霸榜Github
文章出處:【微信號(hào):TheBigData1024,微信公眾號(hào):人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論