針對(duì)文本生成任務(wù)提出一種基于提示的遷移學(xué)習(xí)方法

本文將介紹我們已發(fā)表在NAACL 2022的兩篇論文，分別關(guān)注預(yù)訓(xùn)練語(yǔ)言模型的能力評(píng)測(cè)與提示遷移學(xué)習(xí)。預(yù)訓(xùn)練語(yǔ)言模型在廣泛的任務(wù)中取得了不錯(cuò)的效果，但是對(duì)于預(yù)訓(xùn)練模型的語(yǔ)言能力仍缺乏系統(tǒng)性的評(píng)估與判斷。面對(duì)這一難題，我們提出了一個(gè)針對(duì)預(yù)訓(xùn)練語(yǔ)言模型的通用語(yǔ)言能力測(cè)試（ElitePLM），從記憶、理解、推理和創(chuàng)作四個(gè)能力維度評(píng)估5類10個(gè)預(yù)訓(xùn)練模型的語(yǔ)言能力，希望為后續(xù)研究提供選擇、應(yīng)用、解釋和設(shè)計(jì)預(yù)訓(xùn)練模型的參考指導(dǎo)。另外，目前預(yù)訓(xùn)練語(yǔ)言模型大多采用微調(diào)（fine-tuning）范式適應(yīng)文本生成任務(wù)，但這一范式難以應(yīng)對(duì)數(shù)據(jù)稀疏的場(chǎng)景。因此，我們采用提示學(xué)習(xí)（prompt-based learning）構(gòu)建一個(gè)通用、統(tǒng)一且可遷移的文本生成模型PTG，在全樣本與少樣本場(chǎng)景下都具有不俗的表現(xiàn)。

一、預(yù)訓(xùn)練語(yǔ)言模型的能力評(píng)測(cè)

背景

近年來(lái)，預(yù)訓(xùn)練語(yǔ)言模型（PLMs）在各種各樣的任務(wù)上取得了非常不錯(cuò)的結(jié)果。因此，如何從多個(gè)方面系統(tǒng)性地評(píng)估預(yù)訓(xùn)練模型的語(yǔ)言能力成為一個(gè)非常重要的研究話題，這有助于研究者為特定任務(wù)選擇合適的預(yù)訓(xùn)練語(yǔ)言模型。目前相關(guān)的研究工作往往聚焦于單個(gè)能力的評(píng)估，或者只考慮很少部分的任務(wù)，缺乏系統(tǒng)的設(shè)計(jì)與測(cè)試。為了解決這一難題，我們針對(duì)預(yù)訓(xùn)練語(yǔ)言模型提出了一個(gè)通用語(yǔ)言能力測(cè)試（ElitePLM），從記憶、理解、推理、創(chuàng)作四個(gè)方面評(píng)估預(yù)訓(xùn)練模型的語(yǔ)言能力。

通用語(yǔ)言能力測(cè)試

評(píng)測(cè)模型

為了保證測(cè)試模型的廣泛性與代表性，我們選擇了五類預(yù)訓(xùn)練模型進(jìn)行測(cè)試：

Bidirectional LMs: BERT, RoBERTa, ALBERT;

Unidirectional LMs: GPT-2;

Hybrid LMs: XLNet, UniLM;

Knowledge-enhanced LMs: ERNIE;

Text-to-Text LMs: BART, T5, ProphetNet;

記憶能力（Memory）

記憶是人類最基本的能力。ElitePLM將評(píng)估預(yù)訓(xùn)練語(yǔ)言模型在預(yù)訓(xùn)練階段記住的知識(shí)與語(yǔ)言模式，因此我們采用LAMA與Wikipedia兩個(gè)數(shù)據(jù)集。LAMA是常用的知識(shí)探針數(shù)據(jù)集，Wikipedia是廣泛使用的預(yù)訓(xùn)練語(yǔ)料，這兩個(gè)數(shù)據(jù)集都將轉(zhuǎn)化為填空式問(wèn)題進(jìn)行測(cè)試，評(píng)測(cè)指標(biāo)為Precision@1。評(píng)測(cè)結(jié)果如下圖所示（更多結(jié)果見原論文和附錄）?？梢钥闯?，RoBERTa采用雙向的訓(xùn)練目標(biāo)和一些魯棒的訓(xùn)練策略取得了最好的效果，因此預(yù)訓(xùn)練目標(biāo)和策略反映了模型記憶信息的方式，深刻影響模型的記憶能力。

理解能力（Comprehension）

理解是一個(gè)復(fù)雜且多面的能力，包括對(duì)文本詞匯、背景知識(shí)、語(yǔ)言結(jié)構(gòu)的理解。因此，我們采用GLUE, SuperGLUE, SQuAD v1.1, SQuAD v2.0和RACE五個(gè)數(shù)據(jù)集對(duì)預(yù)訓(xùn)練模型理解詞匯、背景知識(shí)和語(yǔ)言結(jié)構(gòu)進(jìn)行評(píng)測(cè)。GLUE的評(píng)測(cè)結(jié)果如下圖所示（更多結(jié)果見原論文和附錄）?？梢钥闯觯谟洃洔y(cè)試上表現(xiàn)良好的模型（如RoBERTa,XLNet）在理解測(cè)試上也具有優(yōu)異的表現(xiàn)，因此記憶能力的改善有助于提升理解能力。

推理能力（Reasoning）

推理是建立在文本理解的基礎(chǔ)上，ElitePLM中主要關(guān)注三種推理模式：常識(shí)推理、演繹推理和溯因推理。因此，我們采用CommonsenseQA, ROCStories, SWAG, HellaSwag, Sense Making和ARCT六個(gè)數(shù)據(jù)集對(duì)上述三種推理進(jìn)行評(píng)測(cè)。評(píng)測(cè)結(jié)果如下圖所示（更多結(jié)果見原論文和附錄）。可以看出，ALBERT采用inter-sentence coherence預(yù)訓(xùn)練目標(biāo)在推理測(cè)試中取得了不錯(cuò)的效果，因此句子級(jí)推理目標(biāo)可以提升預(yù)訓(xùn)練模型的推理能力。雖然引入了知識(shí)，但是ERNIE在知識(shí)相關(guān)的數(shù)據(jù)集CommonsenseQA中表現(xiàn)平平，因此需要設(shè)計(jì)更加有效的知識(shí)融合方式。

創(chuàng)作能力（Composition）

創(chuàng)作也就是從無(wú)到有生成新文本，它不僅需要模型對(duì)相關(guān)內(nèi)容的理解，還需要推理出合適的上下文。因?yàn)椋覀儾捎肳ritingPrompts——故事生成, CNN/Daily Mail, GigaWord——摘要生成和SQuAD v1.1——問(wèn)題生成四個(gè)數(shù)據(jù)集對(duì)模型的創(chuàng)作能力進(jìn)行測(cè)試，其中故事生成為長(zhǎng)文本生成任務(wù)，摘要生成與問(wèn)題生成為短文本生成任務(wù)。評(píng)測(cè)結(jié)果如下圖所示（更多結(jié)果見原論文和附錄）。可以看出，denoising預(yù)訓(xùn)練目標(biāo)更有利于短文本生成，left-to-right預(yù)訓(xùn)練目標(biāo)更有利于長(zhǎng)文本生成。

結(jié)論

基于對(duì)預(yù)訓(xùn)練語(yǔ)言模型的記憶、理解、推理和創(chuàng)作能力的測(cè)試，我們發(fā)現(xiàn)：（1）使用不同預(yù)訓(xùn)練目標(biāo)和策略的模型擅長(zhǎng)不同的任務(wù)，比如基于雙向目標(biāo)的BERT和使用魯棒訓(xùn)練策略的RoBERTa能夠很好地記憶預(yù)訓(xùn)練語(yǔ)料，使用permutation language modeling的XLNet在理解任務(wù)中可以有效地建模雙向的上下文信息，使用inter-sentence coherence目標(biāo)的ALBERT在句子級(jí)推理任務(wù)中更合適；（2）在微調(diào)預(yù)訓(xùn)練模型時(shí)，他們的表現(xiàn)受到目標(biāo)領(lǐng)域數(shù)據(jù)分布的影響比較大；（3）預(yù)訓(xùn)練模型在相似任務(wù)中的遷移能力出人意料的良好，特別是推理任務(wù)。ElitePLM除了作為預(yù)訓(xùn)練語(yǔ)言模型能力測(cè)試的基準(zhǔn)，我們還開放了所有數(shù)據(jù)集的測(cè)試結(jié)果，基于這些測(cè)試結(jié)果，研究者可以對(duì)預(yù)訓(xùn)練模型在每種能力上的表現(xiàn)進(jìn)行更加深入的分析。例如，我們?cè)谡撐闹蟹治隽四Ｐ驮赒A任務(wù)上的測(cè)試結(jié)果，發(fā)現(xiàn)預(yù)訓(xùn)練模型對(duì)于復(fù)雜的答案類型仍然有待提高，此外，我們也對(duì)模型的創(chuàng)作文本進(jìn)行了圖靈測(cè)試。

總之，ElitePLM希望能夠幫助研究者建立健全的原則，以在實(shí)際應(yīng)用中選擇、應(yīng)用、解釋和設(shè)計(jì)預(yù)訓(xùn)練模型。

二、 預(yù)訓(xùn)練語(yǔ)言模型的提示遷移

背景

目前大部分預(yù)訓(xùn)練語(yǔ)言模型都采用微調(diào)（fine-tuning）的方式來(lái)適應(yīng)文本生成任務(wù)。但是，在現(xiàn)實(shí)中，我們常常遇到只有少量標(biāo)注數(shù)據(jù)、難以進(jìn)行微調(diào)的場(chǎng)景。我們知道，大部分文本生成任務(wù)都采用相似的學(xué)習(xí)機(jī)制例如Seq2Seq，預(yù)訓(xùn)練語(yǔ)言模型如GPT也展現(xiàn)了構(gòu)建通用且可遷移框架的重要性?；谏鲜瞿繕?biāo)，我們采用提示學(xué)習(xí)（prompt-based learning）構(gòu)建一個(gè)通用、統(tǒng)一且可遷移的文本生成模型PTG，特別是對(duì)于數(shù)據(jù)稀疏的場(chǎng)景。

形式化定義

給定輸入文本與輸出文本，文本生成任務(wù)的目標(biāo)是最大化條件生成概率。本文采用連續(xù)提示，其中為提示向量數(shù)目，最終的訓(xùn)練目標(biāo)為。在遷移學(xué)習(xí)下，我們有一系列源任務(wù)，其中第個(gè)源任務(wù) 包含條輸入文本與輸出文本，遷移學(xué)習(xí)的目標(biāo)是利用在源任務(wù)中學(xué)習(xí)到的知識(shí)解決目標(biāo)任務(wù)。在本文中，我們考慮一種基于提示學(xué)習(xí)的新型遷移學(xué)習(xí)框架：針對(duì)每個(gè)源任務(wù)，我們學(xué)習(xí)獨(dú)立的source prompt , 然后將這些已學(xué)習(xí)的prompt遷移到目標(biāo)任務(wù)。

模型

在這一過(guò)程，我們需要解決兩個(gè)核心挑戰(zhàn)：（1）已有研究表明prompt是高度任務(wù)特定的，因此對(duì)于新任務(wù)來(lái)說(shuō)需要有效的遷移及重用prompt機(jī)制；（2）對(duì)于單個(gè)任務(wù)而言，一個(gè)prompt顯然不足以應(yīng)對(duì)大量不同的數(shù)據(jù)樣本，因此有必要在prompt遷移過(guò)程中考慮任務(wù)于樣本的雙重特征。

學(xué)習(xí)可遷移的Source Prompts

對(duì)于每個(gè)源任務(wù)，基于共享的一個(gè)凍結(jié)PLM，使用訓(xùn)練數(shù)據(jù)和訓(xùn)練目標(biāo)學(xué)習(xí)source prompt ，這些prompt將存儲(chǔ)在一個(gè)source prompt pool中，記為。構(gòu)建提示池的目的是為了將提示共享給所有目標(biāo)任務(wù)，同時(shí)在遷移時(shí)考慮任務(wù)間的相似性。

如何衡量任務(wù)間的相似性？我們通過(guò)譜聚類的方式將source prompts進(jìn)行聚簇，每個(gè)prompt將被看作是有權(quán)無(wú)向圖上的一個(gè)節(jié)點(diǎn)，然后采用min-max cut策略進(jìn)行分割，最后得到所有簇，每個(gè)prompt屬于其中某個(gè)簇，簇中的prompt認(rèn)為具有任務(wù)間的相似性。

有了上述結(jié)構(gòu)，我們將構(gòu)建一個(gè)multi-key記憶網(wǎng)絡(luò)，對(duì)于簇中的一個(gè)source prompt ，它與一個(gè)可學(xué)習(xí)的cluster key 和一個(gè)可學(xué)習(xí)的prompt key 進(jìn)行聯(lián)結(jié)，即：

遷移Instance Adaptive Prompts

在遷移prompt過(guò)程中，我們需要考慮任務(wù)特征與樣本特征，因此我們?cè)O(shè)計(jì)了一個(gè)自適應(yīng)的注意力機(jī)制，高效地學(xué)習(xí)target prompt來(lái)解決目標(biāo)任務(wù)。

對(duì)于目標(biāo)任務(wù)中的一個(gè)樣本，我們使用task query和instance query從提示池中選擇合適的source prompts來(lái)學(xué)習(xí)新的target prompt以解決目標(biāo)任務(wù)的樣本。Task query被定義為一個(gè)任務(wù)特定的可學(xué)習(xí)向量，instance query則需要考慮樣本輸入的特征，我們使用一個(gè)凍結(jié)的BERT計(jì)算，即，對(duì)BERT頂層每個(gè)單詞的表示采用平均池化操作。對(duì)于提示池中的prompt ，我們使用task query和instance query計(jì)算匹配分?jǐn)?shù)：

最終，對(duì)于目標(biāo)任務(wù)中的樣本，我們學(xué)習(xí)到的target prompt為。基于此，我們?cè)谀繕?biāo)任務(wù)上的訓(xùn)練目標(biāo)為：

實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)中，我們選擇三類生成任務(wù)的14個(gè)數(shù)據(jù)集：compression（包括摘要生成和問(wèn)題生成）、transduction（包括風(fēng)格遷移和文本復(fù)述）以及creation（包括對(duì)話和故事生成）。數(shù)據(jù)集統(tǒng)計(jì)如下表所示。

基準(zhǔn)模型方面，我們選擇了預(yù)訓(xùn)練語(yǔ)言模型（GPT-2, BART和T5）、Prefix-Tuning、SPoT和Multi-task Tuning，并分別在全樣本與少樣本兩種場(chǎng)景下進(jìn)行任務(wù)間遷移與數(shù)據(jù)集間遷移的測(cè)試。

全樣本場(chǎng)景

對(duì)于任務(wù)間遷移實(shí)驗(yàn)，我們考慮兩種情況：（1）目標(biāo)任務(wù)和數(shù)據(jù)集為摘要生成（CNN/Daily Mail），其他五種任務(wù)為源任務(wù)；（2）目標(biāo)任務(wù)和數(shù)據(jù)集為對(duì)話（PersonaChat），其他五種任務(wù)為源任務(wù)。

對(duì)于數(shù)據(jù)集間遷移實(shí)驗(yàn)，我們同樣也考慮兩種情況：（1）在摘要生成任務(wù)下，目標(biāo)數(shù)據(jù)集為CNN/Daily Mail或者XSUM，其他摘要數(shù)據(jù)集為源數(shù)據(jù)集；（2）在對(duì)話任務(wù)下，目標(biāo)數(shù)據(jù)集為PersonaChat或者DailyDialog，其他對(duì)話數(shù)據(jù)集為源數(shù)據(jù)集。

實(shí)驗(yàn)結(jié)果如下表所示?？梢钥吹剑ㄟ^(guò)將prompt從源任務(wù)遷移到目標(biāo)任務(wù)，PTG超越了GPT-2, BART, T5和Prefix-Tuning，這表明提示遷移提供了一種非常有效的預(yù)訓(xùn)練語(yǔ)言模型微調(diào)方式。其次，PTG也超越了同樣基于提示遷移的方法SPoT，這是因?yàn)镾PoT在遷移時(shí)僅僅使用source prompt初始化target prompt。最后，PTG與Multi-task Tuning表現(xiàn)相當(dāng)甚至超越其表現(xiàn)。這表明簡(jiǎn)單地混合所有任務(wù)進(jìn)行微調(diào)并不足以應(yīng)對(duì)文本生成任務(wù)的復(fù)雜性。

少樣本場(chǎng)景

少樣本實(shí)驗(yàn)下的任務(wù)間遷移與數(shù)據(jù)集間遷移設(shè)置與全樣本場(chǎng)景一致。除此以外，我們減少目標(biāo)任務(wù)與數(shù)據(jù)集的訓(xùn)練樣本數(shù)目為{50, 100, 200, 500}。對(duì)于每個(gè)數(shù)目，我們?cè)?中隨機(jī)種子下分別進(jìn)行5次實(shí)驗(yàn)，最終結(jié)果為10次實(shí)驗(yàn)的平均結(jié)果。

實(shí)驗(yàn)結(jié)果如下表所示?？梢钥吹?，少樣本場(chǎng)景下PTG取得了與最強(qiáng)基準(zhǔn)模型Multi-task Tuning相當(dāng)?shù)谋憩F(xiàn)，甚至超越其表現(xiàn)，這也進(jìn)一步說(shuō)明了我們方法的有效性。

消融實(shí)驗(yàn)

此外，我們還設(shè)置了消融實(shí)驗(yàn)，探究不同模塊對(duì)模型表現(xiàn)的影響，包括提示池（prompt pool）、提示聚簇（prompt cluster）、multi-key記憶網(wǎng)絡(luò)（multi-key memory network）和樣本級(jí)特征（instance-level query）。實(shí)驗(yàn)結(jié)果如下表所示。

任務(wù)間相似性分析

我們針對(duì)源任務(wù)上學(xué)習(xí)到的source prompts做了源任務(wù)間的相似性分析，下圖展示了prompt之間余弦相似度的熱力圖?？梢钥闯?，6個(gè)任務(wù)14個(gè)數(shù)據(jù)集大致可以分為3類，這與我們選擇數(shù)據(jù)集的類別基本吻合。

結(jié)論

本文針對(duì)文本生成任務(wù)提出一種基于提示的遷移學(xué)習(xí)方法。通過(guò)在源任務(wù)學(xué)習(xí)一系列的源提示，模型將這些提示遷移到目標(biāo)任務(wù)以解決下游任務(wù)。在模型中，我們?cè)O(shè)計(jì)了一種自適應(yīng)注意力機(jī)制，在提示遷移時(shí)考慮任務(wù)特征和樣本特征。在大量實(shí)驗(yàn)上的結(jié)果表明，我們的方法要優(yōu)于基準(zhǔn)辦法。

審核編輯 ：李倩