OpenAI發(fā)布一款令人印象深刻的語言模型GPT-2

幾十年來，機器一直在努力學習人類語言的微妙之處，深度學習的出現(xiàn)加速了這一進程。

今年2月，OpenAI發(fā)布了一款令人印象深刻的語言模型GPT-2，它可以寫短篇小說、詩歌，甚至輕松辨別《哈利波特》和《指環(huán)王》中的角色。最近，一位加拿大工程師用它創(chuàng)建了一個向公眾開放的文本生成器，只需提供一個句子，機器便能自動生成一則完整的新聞、故事、歌詞、詩歌、食譜和代碼等文本。

我們用吳亦凡在綜藝節(jié)目《七十二層奇樓》中的一段freestyle（即興說唱）——“你看這個面它又長又寬，就像這個碗它又大又圓”進行了創(chuàng)作。一起來看看人工智能的freestyle水平吧。

芒果TV綜藝《七十二層奇樓》

人工智能版《大碗寬面》

這個名為talktotransformer的文本生成器由加拿大工程師亞當·金（Adam King）創(chuàng)建，它脫胎于OpenAI的大規(guī)模無監(jiān)督語言模型GPT-2。talktotransformer使用的是GPT-2的精簡版本，這個版本過去只開放給特定的科學家和記者。

在talktotransformer中輸入文本“你看這個面它又長又寬，就像這個碗它又大又圓”后，人工智能創(chuàng)作出的歌詞大意為：

你看這個面它又長又寬，

就像這個碗它又大又圓。

只需嘗一口，你就知道是面條。

我的臉上，露出懷疑的表情。

這是真的，我的碗它變成了面條。

這簡直太棒了。

當我回到家，我得到一些雞翅。

我怎么會變得這么好？誰知道呢？

我從朋友和家人那里得到足夠的愛，

我的味蕾開始變大。

當我要吃飯的時候，

它不再只是食物，它是我的想法。

我想要吃好喝好的生活。

talktotransformer模型的輸出結(jié)果

通過閱讀上述由人工智能模型輸出的文字，我們很容易發(fā)現(xiàn)，機器輸出了一些看似語義完整的句子，但其中的意思卻讓人摸不著頭腦。這就是自然語言處理（NLP）的難題——由于缺乏常識，機器并不真正理解語言的含義。

就如2018年圖靈獎獲得者約書亞·本吉奧（Yoshua Bengio）在接受澎湃新聞（www.thepaper.cn）采訪時所言，目前的自然語言系統(tǒng)其實并不理解句子的真正含義，機器“會犯一些非常愚蠢的錯誤，甚至沒有兩歲小孩的理解能力”。

talktotransformer.com頁面

文思泉涌的OpenAI GPT-2語言模型

2019年2月，OpenAI發(fā)布了擁有15億參數(shù)的大規(guī)模無監(jiān)督語言模型GPT-2，它擅長處理語言建模和文本預測任務，還具備閱讀理解、總結(jié)、翻譯等能力。只要給出一個開頭的句子，GPT-2就能生成一篇小文章、一則新聞故事，甚至在文本中使用引語和統(tǒng)計數(shù)據(jù)。如果給出的句子是一個短篇小說的開頭，它會告訴你接下來在這些角色身上會發(fā)生什么事。

OpenAI加利福尼亞州實驗室工程副總裁David Luan對美國科技媒體《邊緣》（THE VERGE）表示，GPT-2能寫出“非常合理的”、“稱職的”論文，“是可以提交給美國大學入學資格考試（SAT）并取得好成績的東西”。

GPT-2在人工智能社區(qū)引起了不小的關注，但OpenAI當時并沒有開源這個系統(tǒng)。一方面，研究人員對該算法能做什么、不能做什么尚不明確；另一方面，他們擔心這項技術被濫用——開源之后，如果有人向GPT-2提供種族主義、暴力、歧視女性或者辱罵性的文本，GPT-2將自動學習并持續(xù)地輸入類似的內(nèi)容。

不開源的決定引發(fā)了人工智能社區(qū)的不滿，畢竟，開源是人工智能領域的優(yōu)良傳統(tǒng)。也許是反對的聲音太大，OpenAI在5月初表示將逐步公開GPT-2，并開源了345M的預訓練模型。后續(xù)，OpenAI將分析該語言模型對社會的影響。