OpenAI發(fā)布了一個(gè)“逆天”的AI模型——GPT2整個(gè)模型包含15億個(gè)參數(shù)

上個(gè)月，OpenAI發(fā)布了一個(gè)“逆天”的AI模型——GPT2，整個(gè)模型包含15億個(gè)參數(shù)。你給它一句話，它能給你編出一篇文章來。

OpenAI的研究主管Dario Amodei表示，GPT2是在一個(gè)包含大約1000萬篇文章的數(shù)據(jù)集上進(jìn)行培訓(xùn)的，比之前最先進(jìn)的AI模型大12倍，數(shù)據(jù)集大15倍。

有這么厲害？看看他的實(shí)力水平不就知道了，OpenAI給出了這么一個(gè)開頭：

在一項(xiàng)研究中，科學(xué)家們發(fā)現(xiàn)了一群獨(dú)角獸，它們生活在安第斯山脈一個(gè)偏遠(yuǎn)的還沒被開發(fā)山谷中，更令人驚訝的是這些獨(dú)角獸會(huì)說一口流利的英語

就這么一句話，GPT-2能寫出以下這么一大段故事：

因?yàn)樗鼈儶?dú)特的角，科學(xué)家們將他們命名為Ovid’s Unicorn，這些四角、銀色角的獨(dú)角獸是原來科學(xué)家所不曾見過的。

......中間還編寫了，這些獨(dú)角獸是如何被發(fā)現(xiàn)的，以及業(yè)內(nèi)權(quán)威人士認(rèn)為這些生物是如何出現(xiàn)的，最后還表明要驗(yàn)證這群獨(dú)角獸是否為外星種族，唯一的方法可能就是通過DNA。

這一本正經(jīng)的胡說八道，說的猿妹我都信以為真

能有這樣出色的表現(xiàn)，不是沒有原因的，GPT-2各種特定領(lǐng)域的語言建模任務(wù)中都取得了很好的分?jǐn)?shù)。作為一個(gè)沒有經(jīng)過任何領(lǐng)域數(shù)據(jù)專門訓(xùn)練的模型，它的表現(xiàn)，比那些專為特定領(lǐng)域數(shù)據(jù)集（例如維基百科，新聞，書籍）上訓(xùn)練的模型。有圖有真相：

除了能用于語言建模，GPT-2在問答、閱讀理解、摘要生成、翻譯等等任務(wù)上也都有非常好的成績，openAI在博客上也給出了示例，感興趣的可以前往查看（地址：https://blog.openai.com/better-language-models/）

除了以上提到的這些優(yōu)異表現(xiàn)，最主要的是GPT-2還學(xué)習(xí)幾種編程語言的語法模型，比如PHP和JavaScript。

它寫出來的JavaScript長這樣：

還有PHP語言：

就連Facebook AI研究院的Tim Rockt?schel看了GPT-2寫出來的代碼都表示：我們要有大麻煩了

話雖如此，該博客下面也有人表示其實(shí)，GPT-2寫的代碼不夠嚴(yán)謹(jǐn)，容易把js、C++、Python等語言混為一談。但實(shí)力依然不可小覷

目前，GPT-2已經(jīng)在GitHub上獲得4116個(gè)Star，674個(gè)Fork（地址：https://github.com/openai/gpt-2），喜歡的人可以嘗試一下

不過，OpenAI 的研究人員們決定不發(fā)布訓(xùn)練模型的數(shù)據(jù)、也不發(fā)布最大那個(gè)模型預(yù)訓(xùn)練后的參數(shù)，因?yàn)樗麄冋J(rèn)為如此強(qiáng)力的模型有遭到惡意濫用的風(fēng)險(xiǎn)。最后，你們?nèi)绾慰创@個(gè)項(xiàng)目呢？