基于主觀知識(shí)的任務(wù)型對(duì)話建模

1 引言

對(duì)話系統(tǒng)技術(shù)挑戰(zhàn)賽 DSTC（The Dialog System Technology Challenge）是對(duì)話技術(shù)領(lǐng)域的頂級(jí)賽事，到 2023 年已舉辦至第 11 屆。

DSTC11 共設(shè)有 5 個(gè)賽道，其中剛剛結(jié)束的 track5 的主題是基于主觀知識(shí)的任務(wù)型對(duì)話建模。本賽道包括三個(gè)子任務(wù)：

Turn Detection：判斷當(dāng)前的對(duì)話是否需要外部知識(shí)

Knowledge Selection：在非結(jié)構(gòu)化主觀知識(shí)文檔中選出相關(guān)的知識(shí)候選

Response Generation：根據(jù)第二步的知識(shí)候選生成回復(fù)

我們參加了 DSTC11-track5 并在所有 14 個(gè)參賽隊(duì)伍中排名第三（客觀指標(biāo)），其中 Turn Detection 子任務(wù)排名第一。本文將介紹 track 5 相關(guān)內(nèi)容以及我們?cè)诟?jìng)賽中嘗試的方法。

2 賽題介紹

我們?cè)诒菊轮性敿?xì)介紹具有主觀知識(shí)的任務(wù)型對(duì)話 (SK-TOD) 建模任務(wù)的數(shù)據(jù)集、子任務(wù)、競(jìng)賽評(píng)價(jià)指標(biāo)以及進(jìn)行的前期相關(guān)調(diào)研。

2.1 數(shù)據(jù)集介紹

下圖[1]為對(duì)話數(shù)據(jù)集中的三個(gè)對(duì)話實(shí)例和與它們相關(guān)的知識(shí)數(shù)據(jù)中的主觀知識(shí)條目示例：

對(duì)話實(shí)例與主觀知識(shí)條目示例

對(duì)話數(shù)據(jù)集有兩部分來(lái)源：

主辦方標(biāo)注的 19696 條需要主觀知識(shí)的對(duì)話，這些對(duì)話既有包含單個(gè)實(shí)體，又有包含多個(gè)實(shí)體的（如圖 1 的 Dialogue 2）。

從 MultiWOZ[2] 任務(wù)型對(duì)話數(shù)據(jù)集中抽取的 18383 條不需要主觀知識(shí)的對(duì)話。

知識(shí)包括兩種：review 類型的主觀知識(shí)（由多個(gè)句子組成） 和 FAQs 類型的知識(shí)（問(wèn)答對(duì)）。這些知識(shí)被被劃分為兩個(gè)域：hotel 和 restaurant，分別包含 33 個(gè)實(shí)體和 110 個(gè)實(shí)體。

例如，hotel 域中的 Hobsons House 實(shí)體，包含的 review 知識(shí)有：

"IwasverypleasewithmyrecentvisittoHobsonsHouse." "Iwasonabusinesstripandneededaquietplacetostayandthisplacefitthebill!" "WhileIwasnotpleasedwiththeslowwi-fiandsmallroom,Iwascontentwiththeirawesomebreakfastoptions,friendlyandengagingstaffmembersandthebestpart!" "Niceandquiet,justthewayIlikeit!" "Woulddefinitelyrecommendthisplacetofriendsandplanonstayinghereagainonmynextventure!" ...

包含的 FAQs 知識(shí)有：

question:"Whatdoyouofferforbreakfast?", answer:"AnFullEnglish/IrishbreakfastisavailableattheHOBSONSHOUSE" question:"Whatisthecheck-outtimeatyourlocation?", answer:"Check-outtimeattheHobsonsHouseisbetween7:30amand10am." ...

2.2 問(wèn)題定義

我們給出 DSTC11-track5 賽題的一般化定義。對(duì)于每一個(gè)對(duì)話實(shí)例 ，除最后一輪外，之前每一輪都有 agent 的回復(fù) 與用戶查詢 對(duì)應(yīng)。整個(gè)對(duì)話實(shí)例 可能與一個(gè)或多個(gè)實(shí)體相關(guān)，我們將該實(shí)體集合定義為。

定義主觀知識(shí)數(shù)據(jù)，其中，表示每一個(gè)實(shí)體包含的若干知識(shí)條目。

我們的做法將整個(gè)任務(wù)進(jìn)一步分解為如下圖所示的四個(gè)階段：

圖2. 基于主觀知識(shí)的任務(wù)型對(duì)話建模流程

Turn Detection：判斷用戶最后一輪查詢 是否需要主觀知識(shí)

Entity Tracking：如需要主觀知識(shí)，則確定與之相關(guān)的實(shí)體集合 （本部分不在比賽評(píng)測(cè)中）

Entry Selection：從實(shí)體 包含的知識(shí)候選集合 中選出相關(guān)的主觀知識(shí)條目

Response Generation：由對(duì)話上文 和相關(guān)的主觀知識(shí)條目生成回復(fù)

本賽道的難點(diǎn)有三個(gè)：

當(dāng)需要檢索主觀知識(shí)時(shí)，每個(gè)對(duì)話對(duì)應(yīng)的知識(shí)條目是不確定數(shù)目的若干條；

驗(yàn)證集和測(cè)試集的分布與訓(xùn)練集有較大差異，有大量的 unseen 信息；

不同的主觀知識(shí)有不同的情感傾向，回復(fù)中需要考慮多條主觀知識(shí)中的不同情感傾向。

2.3 評(píng)價(jià)指標(biāo)

三個(gè)子任務(wù)的評(píng)價(jià)指標(biāo)分別為：

Turn Detection：Precision、Recall、F1

Knowledge Selection：Precision、Recall、F1、Exact Match

Response Generation：BLEU、METEOR、ROUGE-1、ROUGE-2、Rouge-L

客觀評(píng)測(cè)的最終分?jǐn)?shù)為每個(gè)評(píng)價(jià)指標(biāo)排名的倒數(shù)和，即

其中 為第 個(gè)評(píng)測(cè)指標(biāo)的結(jié)果在所有參賽結(jié)果中的排名。

2.4 相關(guān)調(diào)研

我們首先調(diào)研了 DSTC 的往屆比賽，其中 DSTC9-track1 和 DSTC10-track2 均與本屆賽題類似。

DSTC9-track1 的問(wèn)題定義，數(shù)據(jù)集格式與本賽題完全相同，唯一的不同點(diǎn)在于每輪對(duì)話只需找出一條最相關(guān)的知識(shí)，問(wèn)題要簡(jiǎn)單許多：

He[3]等人提出了圖式引導(dǎo)的知識(shí)決策、否定強(qiáng)化的知識(shí)選擇和基于知識(shí)及機(jī)器理解的回復(fù)生成以適應(yīng)三個(gè)子任務(wù)。

Tang[4]等人提出了基于 API 關(guān)鍵字與對(duì)話上下文相關(guān)性學(xué)習(xí)的方法。

DSTC10-track2 將外部知識(shí)數(shù)據(jù)從書(shū)面語(yǔ)更改為口語(yǔ)，使得構(gòu)建高泛化能力的模型更為重要。而且，由于該競(jìng)賽并未給出訓(xùn)練集，參賽隊(duì)伍提出了很多有效的數(shù)據(jù)增廣方法：

Yan[5]等人提出了一種基于域分類任務(wù)和實(shí)體選擇任務(wù)來(lái)學(xué)習(xí)多級(jí)語(yǔ)義信息的方法，以及通過(guò)注入基于語(yǔ)音相似性的人工生成的擾動(dòng)方法來(lái)擴(kuò)充書(shū)面數(shù)據(jù)的思路。

Xu[6]等人首次嘗試將掩碼跨度語(yǔ)言建模應(yīng)用于對(duì)話狀態(tài)生成，該方法有效增強(qiáng)了模型的泛化能力。

Whang[7]等人使用了 Levenstein 距離進(jìn)行后處理來(lái)避免模型預(yù)測(cè)失真問(wèn)題。

Yu[8]等人在 baseline 中增加了卷積層，這一改動(dòng)獲得了更好的跨度預(yù)測(cè)性能，并使用了一種稱為 multiple 的跟蹤多值的自適應(yīng)方法。

Cho[9]等人采用了實(shí)體檢測(cè)以及域跟蹤的方法縮小了候選知識(shí)的范圍。

Tan[10]等人提出了基于指針網(wǎng)絡(luò)的“知識(shí)復(fù)制”方法，有效減輕了 decoder 的壓力，同時(shí)提出分段響應(yīng)的方法：用不同的模型生成知識(shí)選取部分和問(wèn)候應(yīng)答部分。

除此外，我們還調(diào)研了一些使用 MultiWOZ 數(shù)據(jù)集做端到端對(duì)話生成的模型：

He[11]等人提出的 GALAXY 模型使用門(mén)控機(jī)制來(lái)給未標(biāo)記數(shù)據(jù)打偽標(biāo)簽。

Lee[12]設(shè)計(jì)了一個(gè)巧妙的模型，用對(duì)話狀態(tài)跟蹤模塊在考慮對(duì)話歷史的情況下跟蹤信念狀態(tài)（用戶目標(biāo)），然后再通過(guò)信念狀態(tài)作為查詢獲得數(shù)據(jù)庫(kù)狀態(tài)，最后生成回復(fù)。

3 競(jìng)賽方案

3.1 數(shù)據(jù)增強(qiáng)

我們基于原始數(shù)據(jù)集構(gòu)造了兩種增強(qiáng)數(shù)據(jù)集：

unseen 數(shù)據(jù)集：利用知識(shí)數(shù)據(jù)擴(kuò)充對(duì)話。在對(duì)話數(shù)據(jù)集中，每一個(gè)對(duì)話實(shí)例都圍繞一個(gè)實(shí)體展開(kāi)，知識(shí)數(shù)據(jù)中會(huì)有很多與這個(gè)實(shí)體相關(guān)的問(wèn)答型知識(shí)（FAQ）。我們將這些問(wèn)答對(duì)隨機(jī)拼接在原始的對(duì)話實(shí)例中，就得到了只涉及一個(gè)實(shí)體的新的對(duì)話實(shí)例。為了模擬真實(shí)場(chǎng)景中話題轉(zhuǎn)移，我們?cè)诹硪粋€(gè)實(shí)體下生成對(duì)話的另一部分，并以 80% 的概率將它們拼接在一起[13]。

noise 數(shù)據(jù)集：采用谷歌翻譯服務(wù)將英語(yǔ)翻譯成其它四種語(yǔ)言（西班牙語(yǔ)/德語(yǔ)/日語(yǔ)/法語(yǔ)），然后再將其回譯為英語(yǔ)。當(dāng)回譯句子與原句子相似度過(guò)高（這一現(xiàn)象在英法互譯中較為普遍）時(shí)，我們使用 Wordnet 進(jìn)行同義詞替換以增加其多樣性。最后，我們將對(duì)話數(shù)據(jù)集及知識(shí)數(shù)據(jù)擴(kuò)充為原來(lái)的 5 倍，這些數(shù)據(jù)用于對(duì)模型預(yù)訓(xùn)練。進(jìn)一步將 5 種對(duì)話數(shù)據(jù)集和知識(shí)數(shù)據(jù)兩兩組合，得到原來(lái) 25 倍大小的數(shù)據(jù)集。因?yàn)榛刈g和同義詞替換引入了詞級(jí)和語(yǔ)義級(jí)的干擾，所以我們定義此數(shù)據(jù)為noise數(shù)據(jù)。

3.2 Turn Detection 階段

本階段的目標(biāo)是判斷當(dāng)前對(duì)話用戶的最后一輪查詢是否需要主觀知識(shí)，是一個(gè)二分類問(wèn)題。

我們使用自編碼預(yù)訓(xùn)練模型 DeBERTa-v3-base[14]，將當(dāng)前對(duì)話上文和最一輪查詢 作為輸入，取最后一個(gè)隱藏層的第一個(gè) token 即 [CLS] 的向量作為對(duì)話表示，將其輸入一個(gè)線性層中就求得分類概率：

為了在后面進(jìn)行模型融合，提高整體的泛化能力，我們訓(xùn)練了三個(gè)模型，分別適用于三種場(chǎng)景：

Seen expert。使用 DSTC11-track5 提供的訓(xùn)練集微調(diào) DeBERTA-v3-base 模型，得到在驗(yàn)證集上表現(xiàn)最好的模型。這個(gè)模型在見(jiàn)過(guò)的對(duì)話實(shí)例上有極好的表現(xiàn)。

Unseen expert。為增強(qiáng)模型在未見(jiàn)過(guò)的對(duì)話實(shí)例上的檢測(cè)能力，我們使用 3.1 介紹的 unseen 數(shù)據(jù)集對(duì) RoBERTa[15] 模型進(jìn)行微調(diào)。

De-noise expert。為得到一個(gè)泛化能力較強(qiáng)的模型，我們考慮使用 3.1 介紹的 noise 數(shù)據(jù)集進(jìn)行訓(xùn)練。首先，用回譯的 5 倍數(shù)據(jù)集基于 word-masking[16]預(yù)訓(xùn)練方法對(duì) DeBERTa 模型進(jìn)行預(yù)訓(xùn)練，然后，使用兩兩組合的 25 倍含有噪音的數(shù)據(jù)集進(jìn)行微調(diào)。

在后面，我們會(huì)使用基于差異感知的模型融合方法來(lái)融合這三種模型，讓它們相得益彰。

3.3 Entity Track 階段

本階段的目標(biāo)是確定與當(dāng)前對(duì)話用戶的最后一輪查詢相關(guān)的實(shí)體。該階段可以縮小后續(xù)知識(shí)選擇的范圍。

我們使用啟發(fā)式方法為每個(gè)實(shí)體名稱建立一個(gè)詞典，然后基于 n-gram 匹配最后一輪對(duì)話中出現(xiàn)的實(shí)體。這種方法已經(jīng)能達(dá)到較為不錯(cuò)的結(jié)果，驗(yàn)證集性能為 F1=0.9676，accuracy=0.9398。

3.4 Entry Selection 階段

本階段目標(biāo)是選出與用戶查詢相關(guān)的知識(shí)條目。輸入是對(duì)話上文，以及知識(shí)候選 ，輸出為知識(shí)候選的子集 。我們使用同一個(gè)編碼器獲得兩者的表示 ，。然后將 ，， 拼接在一起計(jì)算相關(guān)性：

在訓(xùn)練時(shí)，我們將與 ground-truth 同一實(shí)體的知識(shí)和其它實(shí)體的知識(shí)按 1 : 1 比例構(gòu)造負(fù)例。在驗(yàn)證時(shí)，我們使用 Entity Track 階段確定的實(shí)體中的知識(shí)作為知識(shí)候選。

與 Turn Detection 類似，我們同樣訓(xùn)練了 Seen expert，Unseen expert 和 De-noise expert 這三種模型，之后也使用基于差異感知的模型融合方法來(lái)融合這三種模型。

3.5 Response Generation 階段

本階段目標(biāo)是基于對(duì)話上下文 和相關(guān)知識(shí)片段 來(lái)創(chuàng)建響應(yīng)用戶請(qǐng)求的回復(fù) 。我們將 和 連接起來(lái)作為輸入，并使用經(jīng)預(yù)訓(xùn)練的生成模型來(lái)生成回復(fù)。

我們既考慮了 decoder-only 架構(gòu)的模型（如 GPT-2[17]）也考慮了 encoder-decoder 架構(gòu)的模型（如 BART[18]和 T5[19]）。

此外，為了降低 Entity Track 和 Entry Selection 階段對(duì)本階段的影響，我們?cè)谟?xùn)練時(shí)使用了一些方法調(diào)整模型輸入：

拼接對(duì)話時(shí)額外添加實(shí)體名字段強(qiáng)化實(shí)體信息；

隨機(jī)丟棄 15% 的知識(shí)以讓模型在 Entry Selection 階段漏選知識(shí)時(shí)仍能取得良好的生成效果。

此外，我們還考慮了其他生成方式：

使用 KAT-TSLF 結(jié)構(gòu)[20]，考察將對(duì)話上下文和全部候選知識(shí)條目作為輸入以及將對(duì)話上下文和 KS 階段選取的知識(shí)條目作為輸入，但是效果均不如 BART 模型；

使用在本任務(wù)上經(jīng)過(guò) alpaca 微調(diào)的 LLAMA-13B[21]，結(jié)合專門(mén)設(shè)計(jì)的 instruction，輸入對(duì)話上下文和所選的知識(shí)條目來(lái)生成回復(fù)。然而，正如近期研究顯示，LLM 存在幻覺(jué)問(wèn)題[22]，不能很好地執(zhí)行特定領(lǐng)域或知識(shí)密集型任務(wù)。因此該模型在本任務(wù)上其表現(xiàn)也不如 BART 模型。

3.6 基于差異感知的模型融合方法

為了融合 Seen expert，Unseen expert 和 De-noise expert 這三種模型，我們提出了一種基于差異感知的模型融合方法。

以 Entry Selection 階段訓(xùn)練出來(lái)的三種模型為例。對(duì)于驗(yàn)證集的第 個(gè)對(duì)話實(shí)例，設(shè) 為 ground-truth 標(biāo)簽，它包含 條知識(shí)。我們用不同模型得到 條知識(shí)條目候選，并將它們按相關(guān)度降序排列。對(duì)于每個(gè)知識(shí)條目候選，我們?yōu)槠湓O(shè)置權(quán)重為它的相關(guān)度排序加一的倒數(shù)。例如 Seen-expert 模型得到的知識(shí)候選的第 條 權(quán)重為 。同理， 和 分別為 Unseen expert 和 De-noise expert 得到的知識(shí)候選和權(quán)重。

由此得到知識(shí)候選集合，對(duì)于第 條知識(shí)，將它的融合權(quán)重定義為，其中，如果存在 使 ，則 ，否則， 是超參數(shù)，滿足 。

此外，我們還對(duì)權(quán)重設(shè)置了一個(gè)閾值，得到的超過(guò)閾值的知識(shí)條目集合 即為最終輸出。使用驗(yàn)證集的 Recall/Precision/F1/EM 等指標(biāo)學(xué)習(xí)超參數(shù) ，整體算法如下圖所示：

算法流程圖

該方法對(duì)于不同任務(wù)和不同數(shù)據(jù)集均可適用：

比如在 Entry Selection 階段，為同時(shí)保證知識(shí)選擇的準(zhǔn)確率和召回率，我們使用權(quán)重閾值來(lái)決定該知識(shí)是否相關(guān)，而不是直接選擇 Top-N 權(quán)重的知識(shí)。

對(duì)于不同測(cè)試集，我們可以根據(jù)其中 unseen 對(duì)話條數(shù)的比例相應(yīng)調(diào)整驗(yàn)證集中 unseen 的比例來(lái)學(xué)習(xí) 。通過(guò) 的調(diào)整，測(cè)試集中 unseen 對(duì)話條數(shù)比例越高，我們的 Unseen expert 在最后權(quán)重占比也就越大。

4 結(jié)果分析

本章分析我們的方法在驗(yàn)證集及最終測(cè)試集上的表現(xiàn)。

4.1 Turn Detection 子任務(wù)

Turn Detection 子任務(wù)實(shí)驗(yàn)結(jié)果如表 1 所示：

表1 Turn Detection 子任務(wù)實(shí)驗(yàn)結(jié)果

不難看出 baseline 在驗(yàn)證集上已經(jīng)有了很高的性能?？紤]到最終測(cè)試集中有 unseen 對(duì)話 ，于是我們使用基于差異感知的模型融合方法，力求在測(cè)試集的 unseen 對(duì)話上獲得更好的性能。

我們分別使用 Precision、Recall 和 F1 作為指標(biāo)來(lái)學(xué)習(xí)模型融合參數(shù)，因?yàn)楦叩?Recall 對(duì) unseen 對(duì)話更有效，所以我們選擇 Recall 和 F1 訓(xùn)練的結(jié)果模型融合結(jié)果作為最終提交。

在最終測(cè)試集上，我們的方法在所有提交結(jié)果中 F1 指標(biāo)排名第一，Recall 指標(biāo)排名第二，三項(xiàng)總和排名第一。

4.2 Knowledge Selection 子任務(wù)

Knowledge Selection 子任務(wù)實(shí)驗(yàn)結(jié)果如表 2 所示：

表2 knowledge selection 子任務(wù)實(shí)驗(yàn)結(jié)果

可以看到：

我們的單個(gè)模型表現(xiàn)都只略好于 baseline，然而使用我們的模型融合方法后，性能大幅提高，這說(shuō)明我們的模型融合方法能結(jié)合不同 expert 的優(yōu)勢(shì)，使得模型綜合性能大大提升；

分別使用不同的指標(biāo)學(xué)習(xí)模型融合參數(shù)，就能得到相應(yīng)指標(biāo)下表現(xiàn)最好的模型。

我們依據(jù) 4 個(gè)指標(biāo)的驗(yàn)證集結(jié)果總和選擇最后兩個(gè)結(jié)果（F1 和 EM）作為最終提交。在測(cè)試集上，我們的方法具有一致的性能，并且在很大程度上優(yōu)于 baseline。尤其在 EM 指標(biāo)上，我們的方法比 baseline 高出 14%。

為下一節(jié)表述方便，我們將這兩個(gè)結(jié)果表示為 KS-F1 和 KS-EM。

4.3 Response Generation 子任務(wù)

Response Generation 子任務(wù)實(shí)驗(yàn)結(jié)果如表 3 所示：

表3 knowledge selection 子任務(wù)實(shí)驗(yàn)結(jié)果

我們?cè)谏苫貜?fù)過(guò)程中并沒(méi)有使用模型融合方法。上述結(jié)果可以反映出知識(shí)選擇子任務(wù)對(duì)生成任務(wù)的影響。

使用 KS-F1 的 BART-base 生成結(jié)果在所有指標(biāo)上都優(yōu)于 baseline。這一結(jié)果表明，KS-F1 提供了更高質(zhì)量的知識(shí)條目，并再次證明了我們模型融合方法的有效性。

BART-large 和 T5 作為更大的模型，在大多數(shù)指標(biāo)上都優(yōu)于 BART-base。此外，BART-large (KS-F1) 的 BLEU 指標(biāo)表現(xiàn)極好，在所有提交中排名第二。BART-large (KS-EM) 在 ROUGE 指標(biāo)上表現(xiàn)更好，T5-3B (KS-EM) 在 METEOR 指標(biāo)上更好。然而，T5 在測(cè)試集上的 BLEU 指標(biāo)表現(xiàn)不佳，與 BART-large 相比沒(méi)有明顯的優(yōu)勢(shì)。

5 總結(jié)

我們?cè)?DSTC11-track5 競(jìng)賽中提出了一種基于差異感知的模型融合方法。該方法很好的解決了競(jìng)賽的兩大難點(diǎn)：

每個(gè)對(duì)話實(shí)例都與數(shù)量不定的若干條知識(shí)相關(guān)，如何讓模型學(xué)習(xí)到這種分類能力。

訓(xùn)練集、驗(yàn)證集和測(cè)試集分布差異較大，如何讓模型在 seen 對(duì)話和 unseen 對(duì)話上都能有不錯(cuò)的表現(xiàn)。

最后我們獲得了客觀指標(biāo)排名第三的成績(jī)，這一成績(jī)證明了我們方法的有效性。

未來(lái)可以繼續(xù)嘗試的工作包括：

知識(shí)選擇子任務(wù)：

可以將基于差異感知的模型融合方法同樣運(yùn)用在 Entity Track 階段。

review 型的主觀知識(shí)和 FAQ 型的主觀知識(shí)具有不同的語(yǔ)義特性，比如 FAQ 的問(wèn)句可能與用戶查詢有著較高的相似度，考慮如何分別對(duì)這兩類知識(shí)進(jìn)行選擇。

回復(fù)生成子任務(wù)：

可以考慮分別用對(duì)話歷史 encoder 和外部知識(shí) encoder 對(duì)輸入進(jìn)行編碼再對(duì)其加以融合，這可能有助于模型對(duì)于對(duì)話生成和知識(shí)整合兩部分的單獨(dú)學(xué)習(xí)。

可以考慮使用大模型對(duì)知識(shí)加以初步的理解，再用我們的回復(fù)生成模型根據(jù)被理解的信息進(jìn)行回復(fù)，這可能有助于增強(qiáng)模型的泛化能力。

可以考慮用對(duì)話狀態(tài)追蹤技術(shù)分析輸入的對(duì)話歷史，這可能有助于增強(qiáng)模型抗干擾能力。

針對(duì)前文提到的第三個(gè)難點(diǎn)，不同的主觀知識(shí)有不同的情感傾向?？梢钥紤]使用特定的情感理解模型輔助生成的訓(xùn)練。

模型融合：

考慮進(jìn)一步優(yōu)化我們的基于差異感知的模型融合方法，讓模型自動(dòng)學(xué)習(xí)閾值。