建立一個源于StackExchange的新數(shù)據(jù)集

ACL、EMNLP、NAACL和COLING是NLP領(lǐng)域的四大國際頂會，其中ACL（Annual Meeting of the Association for Computational Linguistics）一直以受關(guān)注度更廣、論文投遞數(shù)量多著稱。7月15日至20日，第56屆年度ACL會議將在澳大利亞墨爾本舉辦，辛苦碼論文的你，準(zhǔn)備好了嗎？

作為頂會，評選“最佳論文”和“終身成就獎”幾乎已經(jīng)是一項(xiàng)“標(biāo)配”，ACL也不例外。往年會議通常會在正會上宣布獲獎?wù)撐?嘉賓，但今年主辦單位計(jì)算語言學(xué)協(xié)會卻一反常態(tài)，在會議前一個月就提前放出了“最佳論文”的評選結(jié)果——三篇“最佳長論文”和兩篇“最佳短論文”。

Best Long Papers

Best Short Papers

雖然Finding syntax in human encephalography with beam search（用集束搜索在人體腦電圖中尋找語法）這篇論文從標(biāo)題上看起來似乎更具吸引力，但考慮到這5篇論文中只公開了2、3兩篇長論文，因此論智在這里只能簡要介紹這兩篇的內(nèi)容。如果讀者有條件看到會場海報(bào)，歡迎隨時分享。

論文2：Learning to Ask Good Questions

詢問是溝通的基礎(chǔ)，如果一臺機(jī)器連提問都不會，那它也絕對做不到高效地和人類溝通。在日常交流中，提問的主要目標(biāo)是進(jìn)一步澄清問題，填補(bǔ)信息空白，如當(dāng)用戶在論壇上向機(jī)器人詢問Ubuntu操作系統(tǒng)使用問題時，為了篩選原因，機(jī)器人會根據(jù)條件產(chǎn)生幾個提問選項(xiàng)：

(a) 您的系統(tǒng)是哪個版本的？

(b) 您的無線網(wǎng)卡有哪些功能？

(c) 您是在64位操作系統(tǒng)上運(yùn)行的嗎？

在這種情況下，機(jī)器人不該問(b)，因?yàn)檫@是個無效問題；它也不該選(c)，因?yàn)檫@個問題的答案面太狹窄了，如果用戶的回復(fù)是“不是”“不知道”，這也成了個無效問題。所以這三個選項(xiàng)中唯一符合人類風(fēng)格的只有(a)。

本文主要做了兩方面工作，一是構(gòu)建了一個新型神經(jīng)網(wǎng)絡(luò)模型，它能基于獲得完美信息的期望值為問題排序；二是建立了一個源于StackExchange的新數(shù)據(jù)集，它是模型的學(xué)習(xí)基礎(chǔ)。

新型神經(jīng)網(wǎng)絡(luò)模型

這個神經(jīng)模型的靈感來自完全信息期望值（EVPI），即擁有此隨機(jī)事件的完全信息時的最大期望值與未擁有此隨機(jī)事件完全信息時的最大期望值之差。當(dāng)然這里不用算最大，通俗來講，本文關(guān)注的是如果我們對Ubuntu操作問題有一個已知信息X，那X的用處到底有多大？

因?yàn)楝F(xiàn)在沒有這個X，所以我們要先找出所有可能的X，并根據(jù)似然值加權(quán)計(jì)算。在提問場景中，對于模型的給定問題qi（前提是能回答），用戶可能有A個可能的回答；對于每個可能的回答aj∈A，模型有概率從中抽取信息，能為得出最終答案提供作用。因此qi的期望值是：

其中，

p是用戶發(fā)表的提問帖；

qi是候選問題集Q中的一個可能的問題；

aj是針對Q的候選回答集A里的一個答案；

P[aj|p, qi]計(jì)算了對于帖子p和提問qi，模型獲得回答aj的概率；

U(p+aj)是微觀經(jīng)濟(jì)學(xué)中常見的效用函數(shù)，用來描述獲得答案aj后，它對帖子p的信息補(bǔ)充程度；

下圖展示了模型在測試期間的邏輯：

給定一個帖子p，模型先檢索10個類似p的帖子，并生成相應(yīng)的問題集Q和答案集A。然后輸入p和提問qi，獲得神經(jīng)網(wǎng)絡(luò)的輸出，也就是回答表征F(p, qi)，計(jì)算P[aj|F(p, qi)]和P[aj|p, qi]的接近程度。之后，用U(p+aj)計(jì)算把回答改成aj后，p的信息補(bǔ)充提升效果。最后，再根據(jù)這個期望效果對問題集Q里的問題一一排序。

看到這里，這個模型要解決的問題就只剩下兩個了：

概率分布P[aj|p, qi]；

效用函數(shù)U(p+aj)。

那么它們背后的原理是什么呢？考慮到篇幅有限，小編這里不再展開介紹了，如果好奇，請大家去讀原文——結(jié)構(gòu)清晰美觀，強(qiáng)烈推薦。

新數(shù)據(jù)集

關(guān)于這個數(shù)據(jù)集，內(nèi)容不多。它的原型是StackExchange上的評論數(shù)據(jù)，共77,097條內(nèi)容。論文作者圍繞【帖子】【問題】【答案】三個內(nèi)容創(chuàng)建了一個數(shù)據(jù)集，其中帖子都是未經(jīng)編輯的原帖，問題是包含問題的評論，答案是作者對帖子的修改和他對其他留言的評論。

實(shí)驗(yàn)結(jié)果

從上圖數(shù)據(jù)可以看出，論文提出的EVPI模型表現(xiàn)不錯，它在問題生成任務(wù)上非常有前景，能切實(shí)幫助機(jī)器人在論壇上寫出高質(zhì)量回復(fù)。

論文地址：arxiv.org/pdf/1805.04655.pdf

論文3：Let’s do it “again”

這同樣是一篇有趣的論文，它在2010年Layth Muthana Khaleel那篇An Analysis of Presupposition Triggers in English Journalistic Texts的基礎(chǔ)上再次研究了語用學(xué)中的“預(yù)設(shè)”（Presupposition）問題。

什么是語用預(yù)設(shè)？

預(yù)設(shè)一詞來自英國著名哲學(xué)家Strawson的《邏輯理論導(dǎo)論》：“一個命題S預(yù)設(shè)P，而且僅當(dāng)P是S有真值或價值的必要條件?！痹谡Z用學(xué)中，預(yù)設(shè)指的是參與對話者在言語交流時都已經(jīng)知道的信息和假設(shè)，同時這些共知信息無需被說出來。它在日常自然對話中隨處可見，如：

(1) John is going to the restaurant again.

(2) John has been to the restaurant.

在這個例子中，因?yàn)榇嬖谝粋€“again”，所以只有當(dāng)(2)為真時，(1)的表述才是合理的。表示因?yàn)镴ohn之前去過一次飯店，所以他能“再”去一次。語用預(yù)設(shè)和語義預(yù)設(shè)不同，其中最明顯的是它不會因在句子中添加否定而改變，如John is not going to the restaurant again，(2)同樣是這句話的預(yù)設(shè)。

我們把像“again”這樣表示預(yù)設(shè)存在的表達(dá)稱為預(yù)設(shè)觸發(fā)語，它可以是實(shí)際的副詞、動詞，也可以是一段明確的表述。而本文的研究內(nèi)容則是一個可以檢測狀語預(yù)設(shè)觸發(fā)語的模型。

新數(shù)據(jù)集

為了訓(xùn)練模型，論文作者也自制了數(shù)據(jù)集。他們從Penn Treebank（PTB）和English Gigaword第三版子集這兩個語料庫里提取數(shù)據(jù)，其中PTB里的22、23兩章和Gigaword里的700-760章是測試集，剩余數(shù)據(jù)里的90%是訓(xùn)練集，最后的10%則被用來提升模型。

對于每個數(shù)據(jù)集，他們的關(guān)注目標(biāo)是這5個副詞：too、again、also、still和yet。由于它們在英語中一般就充當(dāng)預(yù)設(shè)觸發(fā)語，這就相當(dāng)于整個學(xué)習(xí)問題被簡化成了副詞預(yù)設(shè)觸發(fā)語是否存在——一個二元分類問題。他們把包含這些副詞的句子標(biāo)記為positive，不包含的則是negative。

學(xué)習(xí)模型

這是一個引入了注意力機(jī)制的模型，從某種程度上來說，它擴(kuò)展了雙向LSTM模型，通過計(jì)算每個時間步的隱藏狀態(tài)之間的相關(guān)性，在這些相關(guān)性上應(yīng)用注意力機(jī)制。

下圖是論文提出的加權(quán)池化（WP）神經(jīng)網(wǎng)絡(luò)架構(gòu)：

模型輸入序列u = {u1, u2,..., uT}在數(shù)據(jù)集原始序列基礎(chǔ)上經(jīng)過one-hot編碼而來，時間步長為T；

輸入網(wǎng)絡(luò)后，序列中的每個單詞ut會嵌入預(yù)訓(xùn)練的嵌入矩陣We∈R|V|×d，其中V表示數(shù)據(jù)集V中的單詞數(shù)，d則是嵌入空間大小；

嵌入后所得的單詞向量xt∈Rd可以簡單地用xt= utWe來表示，其中，因?yàn)閤t可能還包含單詞的詞性標(biāo)注，所以其實(shí)這個等式還應(yīng)該加上經(jīng)one-hot編碼的詞性標(biāo)注pt：xt= utWe||pt（||：向量級聯(lián)運(yùn)算符）。

我們獲得了雙向LSTM的輸入，之后用LSTM進(jìn)行編碼；

將編碼饋送進(jìn)注意力機(jī)制，計(jì)算出注意力權(quán)重后，對編碼狀態(tài)進(jìn)行加權(quán)平均；

將輸出依次連接到全連接層，預(yù)測狀語預(yù)設(shè)觸發(fā)語。

（上述過程中的雙向LSTM和注意力機(jī)制運(yùn)算非常常規(guī)，請看原文）

實(shí)驗(yàn)結(jié)果

從結(jié)果上看他們的模型還是不錯的，但考慮到我們使用的是中文，語用預(yù)設(shè)更加復(fù)雜，英語語境下的這種二元分類方法可能并不適用，但這也為其他語言研究提供了一個比較可行的思路。