大語言模型的多語言機器翻譯能力分析

01

研究動機

以ChatGPT為代表的大語言模型（Large Language Models, LLM）在機器翻譯（Machine Translation, MT）任務(wù)上展現(xiàn)出了驚人的潛力。通過情景學(xué)習(xí)（In-Context Learning，ICL），大語言模型可以根據(jù)任務(wù)示例和任務(wù)指令，在不更新模型參數(shù)的情況下，完成特定下游任務(wù)。然而，值得注意的是，這些大語言模型主要基于大規(guī)模的數(shù)據(jù)進(jìn)行語言模型任務(wù)的學(xué)習(xí)，并沒有在大規(guī)模多語言翻譯數(shù)據(jù)上訓(xùn)練過，我們非常好奇于：（1）大語言模型的多語言機器翻譯能力如何？（2）哪些因素會影響大語言模型的翻譯表現(xiàn)？為了探究這些問題，本文評測了XGLM[1]，OPT[2]，BLOOMZ[3]，ChatGPT[4]等眾多熱門大語言模型在百余種語言上的翻譯能力，并且分析了在情景學(xué)習(xí)中各種因素對翻譯效果的影響。

02

貢獻(xiàn)

1. 本文在102種語言以及202個以英文為核心的翻譯方向上全面地評測了包括ChatGPT在內(nèi)的熱門大語言模型的多語言機器翻譯能力。

2. 本文系統(tǒng)地報告了一系列大語言模型以及兩個有監(jiān)督基線的翻譯表現(xiàn)，為后續(xù)大語言模型和多語言機器翻譯研究工作提供了有力參照。

3. 本文還發(fā)現(xiàn)了在機器翻譯任務(wù)上大語言模型展現(xiàn)出了一些新的工作模式。

03

實驗設(shè)定

為了全面地衡量大語言模型的多語言機器翻譯能力，本文選用Flores-101數(shù)據(jù)集[5]進(jìn)行實驗。在應(yīng)用大語言模型進(jìn)行情景學(xué)習(xí)的過程中，本文設(shè)置任務(wù)示例數(shù)目為8，任務(wù)指令模版為“=”，其中“”和“”分別為源句和目標(biāo)句對應(yīng)的占位符。此外，本文也報告了M2M-100-12B[6]以及NLLB-1.3B[7]這兩個強大的傳統(tǒng)有監(jiān)督模型的多語言翻譯表現(xiàn)作為參照。

04

大語言模型多語言機器翻譯能力評測

在系統(tǒng)地評測大語言模型的多語言翻譯能力后，本文得出了以下主要結(jié)論：

1. 在評測的四種大語言模型中，ChatGPT展現(xiàn)了最好的多語言機器翻譯效果：相比于只經(jīng)過預(yù)訓(xùn)練（pre-traing）的XGLM和OPT，經(jīng)過指令微調(diào)（instruction-tuning）的BLOOMZ和ChatGPT展現(xiàn)了更好的翻譯表現(xiàn)（表格1）。值得注意的是，BLOOMZ在七組翻譯方向上超過了有監(jiān)督基線模型，而ChatGPT在所有被評測的大語言模型中取得了最好的綜合翻譯表現(xiàn)。

2. 大語言模型翻譯其他語言到英語的表現(xiàn)往往比翻譯英語到其他語言的表現(xiàn)要好：此前的研究發(fā)現(xiàn)大語言模型在將其他語言翻譯到英語時往往有很好的表現(xiàn)，而在將英語翻譯到其他語言時則表現(xiàn)較差。本文發(fā)現(xiàn)XGLM，OPT，BLOOMZ，ChatGPT也都存在這種偏好。但是，值得注意的是，ChatGPT已經(jīng)極大地改善了這種傾向。

表格 1 不同模型在各語系上的平均BLEU分?jǐn)?shù)

3. 在大部分語言上，尤其是低資源語言，大語言模型的翻譯效果仍然落后于強大的有監(jiān)督基線模型：圖1中畫出來了ChatGPT和NLLB模型在各個語言上的翻譯表現(xiàn)，可以看出在圖片的左半部分，ChatGPT可以取得與NLLB相似的性能，而在圖片的右半部分，在低資源語言翻譯上，ChatGPT仍然遠(yuǎn)遠(yuǎn)落后于傳統(tǒng)的有監(jiān)督基線模型。

圖 1 ChatGPT和NLLB在各語言上的翻譯表現(xiàn)對比

4. 指令微調(diào)過的大語言模型仍然可以從任務(wù)示例中受益：本文對比了BLOOMZ和ChatGPT這兩個經(jīng)過指令微調(diào)的模型在任務(wù)樣例數(shù)目分別為0和8時的翻譯表現(xiàn)（圖2），可以看出即使對于指令微調(diào)過的模型，提供任務(wù)示例依然可以進(jìn)一步提升其翻譯能力。這也是本文在評測大語言模型翻譯能力同時提供任務(wù)示例和任務(wù)指令的原因。

圖 2 BLOOMZ和ChatGPT在給定不同數(shù)目的任務(wù)示例時的翻譯表現(xiàn)對比

5. 在公開數(shù)據(jù)上評測大語言模型有數(shù)據(jù)泄漏的風(fēng)險：為了考察數(shù)據(jù)泄漏對評測結(jié)果的影響，本文基于近期的英語新聞，人工構(gòu)建了一個中-英-德三語無泄漏機器翻譯測試集。在該測試集上的測試結(jié)果顯示：XGLM和OPT在新標(biāo)注測試集上取得了與公開測試集上相似的性能，而ChatGPT在英語-德語翻譯上性能出現(xiàn)大幅下降，BLOOMZ更是在四個測試方向上都出現(xiàn)性能下降的問題（圖3）。這說明BLOOMZ在Flores-101上取得很好的表現(xiàn)很可能是數(shù)據(jù)泄漏導(dǎo)致的。

圖 3 不同模型在Flores-101測試集和無泄漏測試集上的翻譯表現(xiàn)

05

大語言模型機器翻譯能力影響因素分析

為了更好地理解大語言模型如何通過情景學(xué)習(xí)中完成翻譯任務(wù)，本文以XGLM為例分析了情景學(xué)習(xí)中諸多因素對翻譯效果的影響。以下介紹本文在關(guān)于任務(wù)指令和任務(wù)示例兩方面的相關(guān)發(fā)現(xiàn)：

1. 與任務(wù)指令相關(guān)的發(fā)現(xiàn)：

大語言模型在下游任務(wù)上的良好表現(xiàn)依賴于精心設(shè)計的指令：本文發(fā)現(xiàn)大語言模型在下游任務(wù)上的表現(xiàn)會隨著指令內(nèi)容的不同而劇烈變化。并且在不同翻譯方向上，最好的指令也不同（表格2）在這些指令中，“=”取得了最高的平均BLEU分?jǐn)?shù)。而“[SRC]: [TGT]: ”的效果是最差的。這說明在情景學(xué)習(xí)中，任務(wù)指令起著十分重要的作用。

即使是不合理的指令也可以引導(dǎo)大語言模型完成翻譯任務(wù)：直覺上，人們認(rèn)為大語言模型理解了任務(wù)指令所以能夠完成指定的下游任務(wù)。但是本文發(fā)現(xiàn)，在情景學(xué)習(xí)時使用任務(wù)無關(guān)的指令，大語言模型依然可以完成目標(biāo)任務(wù)。例如，面對指令“ can be summarized as ”，模型依然可以生成翻譯而不是生成摘要。這樣的發(fā)現(xiàn)說明，以往的研究可能誤解了任務(wù)指令在情景學(xué)習(xí)中的作用。

表格 2 使用不同任務(wù)指令對翻譯效果的影響

2. 關(guān)于任務(wù)示例的發(fā)現(xiàn)

根據(jù)語義選擇示例與隨機選擇示例效果相當(dāng)：為了研究任務(wù)示例對情景學(xué)習(xí)效果的影響，本文對比了包括隨機檢索、稀疏檢索、稠密檢索在內(nèi)的多種任務(wù)示例選擇策略（圖4）。實驗結(jié)果表明當(dāng)任務(wù)樣例數(shù)目從1增加到8時，BLEU分?jǐn)?shù)會顯著提升。但是進(jìn)一步增加樣例數(shù)目，BLEU分?jǐn)?shù)基本變化不大，甚至?xí)_始下降。相比于根據(jù)語義進(jìn)行選擇，隨機選擇也可以取得相似的效果。并且即使根據(jù)目標(biāo)句進(jìn)行檢索，也沒有展現(xiàn)出明顯的優(yōu)勢。這些實驗結(jié)果表明，翻譯任務(wù)示例可以幫助大語言模型理解翻譯任務(wù)，但是大語言模型可能很難從語義相關(guān)的翻譯示例中直接獲取有幫助的翻譯知識。

圖4使用不同任務(wù)示例選擇策略對翻譯效果的影響

翻譯任務(wù)示例幫助大語言模型理解翻譯任務(wù)的核心特征：為了理解翻譯任務(wù)示例如何影響大語言模型理解翻譯任務(wù)，本文觀察了大語言模型在不同任務(wù)示例下的翻譯表現(xiàn)（表格3）。當(dāng)使用不匹配的翻譯句對作為任務(wù)樣例時，大語言模型完全無法進(jìn)行翻譯。這說明模型從翻譯任務(wù)示例中學(xué)習(xí)到需要保證源句和目標(biāo)句語義一致。當(dāng)使用詞級別或者段落級別翻譯對作為翻譯示例時，模型的翻譯質(zhì)量顯著下降，這說明任務(wù)樣例的粒度也很重要。當(dāng)使用重復(fù)的翻譯句對作為翻譯樣例時，模型的翻譯質(zhì)量也會下降，這說明保持任務(wù)示例的多樣性也是保證模型下游任務(wù)性能的必要條件。總體來說，這些對比實驗的結(jié)果說明大語言在情景學(xué)習(xí)中，通過任務(wù)樣例理解了翻譯任務(wù)的核心需求。

表格 3 在給定不同任務(wù)示例時XGLM的翻譯表現(xiàn)

使用跨語言任務(wù)示例也可能帶來翻譯性能提升：本文發(fā)現(xiàn)在機器翻譯的情景學(xué)習(xí)中，使用不同語言對的翻譯句對作為任務(wù)示例并不一定會導(dǎo)致翻譯質(zhì)量下降。例如，在進(jìn)行德語-英語翻譯時，如果使用跨語言任務(wù)示例會導(dǎo)致翻譯質(zhì)量下降；而在進(jìn)行漢語-英語翻譯時，使用跨語言任務(wù)示例則可以大幅提升翻譯性能（圖5）。這顯示了跨語言任務(wù)示例在情景學(xué)習(xí)中的潛在用途。

圖 5 使用跨語言翻譯任務(wù)示例的效果

在上下文末尾位置的任務(wù)示例對于大語言模型的行為有著更大的影響：本文發(fā)現(xiàn)使用與目標(biāo)翻譯方向相反的翻譯句對作為任務(wù)示例時，大語言模型完全無法進(jìn)行正確的翻譯。利用這種特性，本文考察了在上下文的不同位置的任務(wù)示例對大語言模型的翻譯行為的影響程度。表格4中的實驗結(jié)果表明，在使用相同數(shù)量的反向任務(wù)示例時，反向任務(wù)示例出現(xiàn)在上下文的末尾位置時，大語言模型的翻譯表現(xiàn)會更差。這說明在末尾位置的任務(wù)示例對于大語言模型的行為有著更大的影響。

表格 4 反轉(zhuǎn)任務(wù)示例翻譯方向?qū)Ψg效果的影響

06

總結(jié)

本文系統(tǒng)地評測了包括ChatGPT在內(nèi)的一系列大語言模型在102種語言，202個以英文為核心的翻譯方向上的多語言機器翻譯能力，探究了使用大語言模型進(jìn)行多語言機器翻譯的優(yōu)勢與挑戰(zhàn)。我們發(fā)現(xiàn)即使是最強的大語言模型（ChatGPT），仍然在83.33%的翻譯方向上落后于強大的有監(jiān)督基線模型（NLLB）。經(jīng)過進(jìn)一步的分析實驗，我們發(fā)現(xiàn)在機器翻譯任務(wù)上，大語言模型展現(xiàn)出了一些新的工作模式：例如，在情景學(xué)習(xí)時，任務(wù)指令的語義可以被大語言模型所忽視；使用跨語言任務(wù)示例可以提升低資源機器翻譯效果。更重要的是，我們發(fā)現(xiàn)BLOOMZ在公開數(shù)據(jù)集上的表現(xiàn)是被高估的，而如何公平地比較不同語言模型的能力將是大語言模型時代的一個重要話題。

審核編輯：劉清