如何在沒有大量標(biāo)記數(shù)據(jù)的情況下，讓計算機也學(xué)會翻譯？

神經(jīng)機器翻譯（NMT）關(guān)注的是通過 AI 在不同人類語言之間進(jìn)行翻譯的過程。2015 年，蒙特利爾學(xué)習(xí)算法研究所的研究人員開發(fā)出了一項新的算法模型，最終讓機器給出了對應(yīng)的翻譯。一夜之間，像谷歌翻譯這樣的翻譯軟件質(zhì)量得到了大幅度提升。

盡管此次改進(jìn)非常顯著，但它仍需要兩種語言的句子對，例如：“I like to eat”和“me gusta comer”分別為英語和法語中的“我想要吃”。對于從烏爾都語到英語等沒有句子對的語言翻譯而言，翻譯系統(tǒng)則顯得無能為力。從那時起，研究人員就開始構(gòu)建無需句子對也能翻譯的系統(tǒng)，無監(jiān)督神經(jīng)機器翻譯（UNMT）就是其一。

去年 10 月末，來自西班牙圣塞巴斯蒂安巴斯克大學(xué)（UPV）和互聯(lián)網(wǎng)科技公司 Facebook 人工智能研究院（FAIR）的兩支團(tuán)隊，向2018ICLR分別遞交了各自的最新研究成果——無監(jiān)督神經(jīng)網(wǎng)絡(luò)翻譯模型。

當(dāng)時，兩篇論文共同表明，神經(jīng)網(wǎng)絡(luò)可以在沒有平行文本的情況下學(xué)習(xí)翻譯。

這意味著該模型將突破原有的神經(jīng)機器翻譯（NMT）需要足夠大的平行語料庫的限制，創(chuàng)造了一種可以使用單語語料庫進(jìn)行訓(xùn)練的翻譯模型，并克服了平行語料庫不足的問題。從社會學(xué)的角度講，這將有助于我們翻譯一些語言已經(jīng)丟失了的文字，或者讓機器去實時翻譯一些稀有語言，如斯瓦西里語和白俄羅斯語。

過去一年間，不斷有研究人員試圖通過無監(jiān)督學(xué)習(xí)用大量無標(biāo)記數(shù)據(jù)訓(xùn)練以進(jìn)一步提高系統(tǒng)的翻譯能力。Facebook、紐約大學(xué)、巴斯克大學(xué)、索邦大學(xué)的研究團(tuán)隊成果顯著，成功讓機器在不知道“house”的西班牙對應(yīng)詞是“casa”的情況下翻譯出來。

近日，F(xiàn)acebook 人工智能實驗室再次公布了有關(guān)無監(jiān)督神經(jīng)網(wǎng)絡(luò)翻譯的最新模型，相當(dāng)于用 10 萬個參考譯文訓(xùn)練過的監(jiān)督模型?！霸跈C器翻譯領(lǐng)域，這是一個重大的發(fā)現(xiàn)，盡管世界上有超過 6500 種語言，但可利用的翻譯訓(xùn)練資源池要么不存在、要么就是太小不足以運用在現(xiàn)有系統(tǒng)中?！?/p>

為了證明這一進(jìn)步的價值，研究人員給出了以下陳述：“ 1 個 BLEU 點（判斷機器翻譯準(zhǔn)確度的常用指標(biāo)）的進(jìn)步被視為該領(lǐng)域一項了不起的成就。我們的方法相當(dāng)于有 10 個 BLEU 點的進(jìn)步。” 實際上，該項研究使得很多沒有平行文本的語言翻譯變得更為容易，如從烏爾都語到英語的翻譯。

▌研究原理

1、字節(jié)對編碼：不像此前為系統(tǒng)提供完整單詞的方式，只給系統(tǒng)提供單詞的一部分。例如，單詞“hello”可拆分為四部分，分別是“he”“l(fā)”“l(fā)”“o”。這意味系統(tǒng)可以學(xué)習(xí)“he”的譯詞，盡管系統(tǒng)此前從來沒有見過該詞。

2、語言模型：訓(xùn)練神經(jīng)網(wǎng)路學(xué)習(xí)生成在語言中“聽起來不錯”的句子。例如，這個神經(jīng)網(wǎng)絡(luò)可能會將句子“您好嘛”改為“您好嗎”。

3、反向翻譯：這是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)向后翻譯的另一個技巧。例如，如果想將西班牙語翻譯稱英語，就需要先教會神經(jīng)網(wǎng)絡(luò)從英語翻譯成西班牙語，然后用它來生成合成數(shù)據(jù)，從而增加已有的數(shù)據(jù)量。

▌逐字翻譯

讓系統(tǒng)學(xué)習(xí)雙語詞典，將一個單詞與其他語言的合理翻譯聯(lián)系起來，即系統(tǒng)學(xué)習(xí)每種語言中的單詞嵌入。

訓(xùn)練嵌入詞以預(yù)測跟給定上下文中單詞近似的單詞，可以發(fā)現(xiàn)很多有趣的語義結(jié)構(gòu)。例如，“kitty”的近義詞是“cat”，而“kitty”的嵌入詞與“animal”相近，卻與“rocket”相差很遠(yuǎn)。

此外，不同語言的嵌入詞有相似的領(lǐng)域結(jié)構(gòu)，這在于世界各地的人都擁有相同的物理環(huán)境。例如，英語中的單詞“cat”和“furry”之間的關(guān)系類似于它們在西班牙語中的相應(yīng)翻譯（“gato”和“peludo”），因為這些單詞的頻率和其上下文是相似的。

鑒于這些相似之處，研究人員建議使用對抗訓(xùn)練，以推導(dǎo)出一個相當(dāng)準(zhǔn)確的雙語詞典，無需訪問任何平行文本，便可實現(xiàn)逐字翻譯。

▌句子修正

不過，研究人員還是建議無監(jiān)督的方式進(jìn)行逐字翻譯，也有可能造成單詞丟失，或無序甚至是錯誤。所以，接下來，需要在已知大量單詞數(shù)據(jù)的基礎(chǔ)上進(jìn)行編輯，對不流暢或不符合語法結(jié)構(gòu)的句子進(jìn)行修正。

另外，研究人員還給出以下兩種方法，一個是基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)（NMT），一個是基于短語的系統(tǒng)（PBSMT）。雖然任何一種方法都可以提高翻譯質(zhì)量，但二者并用將產(chǎn)生更新的顯著效果。

據(jù)了解，PBSMT（Facebook統(tǒng)計機器翻譯）是 FAIR 此前的研究成果。該系統(tǒng)學(xué)習(xí)每種語言中短語的概率分布，并教會另一個系統(tǒng)旋轉(zhuǎn)第二組的數(shù)據(jù)點以匹配第一組的數(shù)據(jù)點。

以一個比較形象的方式展示：假設(shè)有兩個圖像，一個是杯子與蓋子彼此相鄰，另一個是蓋子在杯子上。該系統(tǒng)將學(xué)習(xí)如何在沒有蓋子的情況下，在圖像周圍移動像素以生成有蓋子的圖像。

目前，F(xiàn)acebook 人工智能實驗室將免費開放代碼，方便開發(fā)者獲取搭建系統(tǒng)。

▌寫在最后

要知道，多數(shù)現(xiàn)有的 AI 模型是通過“監(jiān)督學(xué)習(xí)”訓(xùn)練而成的，這也意味著必須耗費大量的人力對樣本數(shù)據(jù)進(jìn)行標(biāo)記與分類。盡管強化學(xué)習(xí)與生成式對抗網(wǎng)絡(luò)的出現(xiàn)從一定程度上解決了這一問題，但數(shù)據(jù)標(biāo)記仍是目前阻礙 AI 系統(tǒng)發(fā)展的最大障礙。