多跳問(wèn)答任務(wù)：面向多跳問(wèn)答的分層圖網(wǎng)絡(luò)

這是一篇關(guān)于多跳問(wèn)答(multi-hop QA)任務(wù)的論文，不同于單跳QA，multi-hop QA任務(wù)下問(wèn)題的答案需要對(duì)多個(gè)段落或篇章進(jìn)行多跳推理。

然而，現(xiàn)有的相關(guān)工作仍舊存在一些挑戰(zhàn)與困難需要被進(jìn)一步研究:

現(xiàn)有工作會(huì)使用類(lèi)似信息檢索的思想來(lái)查找問(wèn)題相關(guān)的段落，然后用MRC任務(wù)中類(lèi)似的方法來(lái)找到問(wèn)題的答案，但存在的問(wèn)題是: 怎么將散落在不同語(yǔ)義粒度(段落、句子、實(shí)體)的信息聚合起來(lái)，用于問(wèn)題答案和支撐事實(shí)發(fā)現(xiàn)的聯(lián)合預(yù)測(cè);

為了更好地利用文中用于answer發(fā)現(xiàn)的evidence, 一些工作通過(guò)構(gòu)建實(shí)體級(jí)別的圖結(jié)構(gòu)來(lái)進(jìn)行推理；然而，基于實(shí)體圖的方法能夠用于預(yù)測(cè)問(wèn)題的答案，卻不能用于支撐事實(shí)的發(fā)現(xiàn)。

基于以上問(wèn)題，作者設(shè)計(jì)了Hierarchical Graph Network (HGN)來(lái)進(jìn)行multi-hop QA 任務(wù)，較之以往工作，它有以下三個(gè)特點(diǎn):

具有四種類(lèi)型的節(jié)點(diǎn)，分別是問(wèn)題節(jié)點(diǎn)、段落節(jié)點(diǎn)、句子節(jié)點(diǎn) 和 實(shí)體節(jié)點(diǎn)，不同類(lèi)型的節(jié)點(diǎn)可分別用于multi-hop QA下的不同步驟下的子任務(wù)中；

引入預(yù)訓(xùn)練語(yǔ)言模型來(lái)學(xué)習(xí)文本的上下文表示，并得到節(jié)點(diǎn)的初始化表示，再通過(guò)圖網(wǎng)絡(luò)進(jìn)一步更新節(jié)點(diǎn)表示；

由于問(wèn)題的答案不一定是一個(gè)實(shí)體，因此在答案預(yù)測(cè)時(shí)引入 span prediction 來(lái)發(fā)現(xiàn)非實(shí)體的問(wèn)題答案。

具體地，HGN模型由如下部分構(gòu)成:

Graph Construction Module: 分層圖構(gòu)建模塊，包括三個(gè)步驟: 通過(guò)title matching 選擇與問(wèn)題相關(guān)的段落、發(fā)現(xiàn)段落中能夠提供指向其他段落證據(jù)的實(shí)體、句子，基于以上兩邊得到了圖中所需的節(jié)點(diǎn)，再根據(jù)規(guī)則在節(jié)點(diǎn)之間添加上連邊。

Context Encoding Module：使用Roberta和BiLSTM對(duì)文本進(jìn)行編碼，得到問(wèn)題節(jié)點(diǎn)、段落節(jié)點(diǎn)、句子節(jié)點(diǎn)的初始表示。

Graph Reasoning Module：使用圖注意力機(jī)制在節(jié)點(diǎn)之間進(jìn)行信息傳遞，更新節(jié)點(diǎn)的表示。

Multi-task Prediction Module：分步進(jìn)行如下三個(gè)子任務(wù): 基于段落節(jié)點(diǎn)的段落選擇、基于句子節(jié)點(diǎn)的支撐事實(shí)預(yù)測(cè)、以及基于實(shí)體節(jié)點(diǎn)答案預(yù)測(cè) 以及基于上下文表示和span prediction的非entity答案預(yù)測(cè)。

作者使用HGN模型在HotpotQA 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，在兩種任務(wù)設(shè)置下，都在Answer Prediction與Support Fact Prediction的聯(lián)合任務(wù)上都取得了sota效果。

最后，作者又進(jìn)行了一系列的分析，包括誤差分析、消融實(shí)驗(yàn)、不同預(yù)訓(xùn)練模型對(duì)實(shí)驗(yàn)結(jié)果的影響以及HGN在不同推理類(lèi)型下的性能。

責(zé)任編輯：xj

原文標(biāo)題：【每日一讀】EMNLP2020: 面向多跳問(wèn)答的分層圖網(wǎng)絡(luò)

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。