關(guān)于GN-GloVe的詞嵌入技術(shù)詳解

詞嵌入技術(shù)已經(jīng)成為眾多自然語(yǔ)言處理（NLP）應(yīng)用的基礎(chǔ)部分，然而，在現(xiàn)有語(yǔ)料上訓(xùn)練的詞嵌入，常常受到社會(huì)偏見(jiàn)的影響，比如性別刻板印象。比如，“programmer”（程序員）是一個(gè)性別中立詞（gender-neutral words），但在新聞?wù)Z料庫(kù)上訓(xùn)練的嵌入模型看來(lái)，“programmer”和“male”（男性）一詞的聯(lián)系比“female”（女性）更緊密。

帶有這樣的偏見(jiàn)的詞嵌入模型，會(huì)給下游的NLP應(yīng)用帶來(lái)嚴(yán)重問(wèn)題。例如，基于詞嵌入技術(shù)的簡(jiǎn)歷自動(dòng)篩選系統(tǒng)或工作自動(dòng)推薦系統(tǒng)，會(huì)歧視某種性別的候選人（候選人的姓名反映了性別）。除了造成這種明顯的歧視現(xiàn)象，有偏見(jiàn)的嵌入還可能暗中影響我們?nèi)粘Ｊ褂玫腘LP應(yīng)用。比如，在搜索引擎中輸入“computer scientist”（計(jì)算機(jī)科學(xué)家），由于在嵌入空間中，“computer scientist”和男性姓名更接近，和女性姓名更疏遠(yuǎn)，基于嵌入技術(shù)的搜索算法傾向于將男性科學(xué)家排在女性科學(xué)家之前，阻礙人們認(rèn)識(shí)女性科學(xué)家，進(jìn)一步加劇計(jì)算機(jī)科學(xué)領(lǐng)域的性別不平衡性。

圖片來(lái)源：Tolga Bolukbasi等

Bolukbasi等提出，通過(guò)后處理，可以緩解詞嵌入的性別刻板印象（arXiv:1607.06520）。具體方法是將性別中立詞投影到一個(gè)正交于性別維度的子空間，該性別維度由性別定義詞（gender-definition words）定義。所謂性別定義詞，是指定義中天然聯(lián)系性別的詞匯，例如“mother”（母親）、“waitress”（女侍者）。

然而，這一做法有兩個(gè)局限：

在投影性別中立詞之前，需要首先通過(guò)分類器識(shí)別出性別中立詞。如果分類器犯錯(cuò)，那么錯(cuò)誤會(huì)傳播到整個(gè)模型中，影響最終表現(xiàn)。

完全移除了性別信息，但是在某些領(lǐng)域（比如醫(yī)學(xué)、社會(huì)科學(xué)），性別信息是不可或缺的。

而UCLA的Jieyu Zhao、Yichao Zhou、Zeyu Li、Wei Wang、Kai-Wei Chang在即將召開的EMNLP 2018上發(fā)表的論文Learning Gender-Neutral Word Embeddings（學(xué)習(xí)性別中立詞嵌入），基于保護(hù)屬性（protected attributes）隔離性別信息，克服了上述兩個(gè)局限。

方法

這篇論文改造了GloVe模型，在其基礎(chǔ)之上增加了性別保護(hù)屬性。雖然論文選擇GloVe作為基礎(chǔ)嵌入模型，但論文提出的方法是通用的，可以應(yīng)用于其他嵌入模型和屬性。

GloVe

首先簡(jiǎn)單溫習(xí)下GloVe。

GloVe的主要直覺(jué)是，相比單詞同時(shí)出現(xiàn)的概率，單詞同時(shí)出現(xiàn)的概率的比率能夠更好地區(qū)分單詞。比如，假設(shè)我們要表示“冰”和“蒸汽”這兩個(gè)單詞。對(duì)于和“冰”相關(guān)，和“蒸汽”無(wú)關(guān)的單詞，比如“固體”，我們可以期望P冰-固體/P蒸汽-固體較大。類似地，對(duì)于和“冰”無(wú)關(guān)，和“蒸汽”相關(guān)的單詞，比如“氣體”，我們可以期望P冰-氣體/P蒸汽-氣體較小。相反，對(duì)于像“水”之類同時(shí)和“冰”、“蒸汽”相關(guān)的單詞，以及“時(shí)尚”之類同時(shí)和“冰”、“蒸汽”無(wú)關(guān)的單詞，我們可以期望P冰-水/P蒸汽-水、P冰-時(shí)尚/P蒸汽-時(shí)尚應(yīng)當(dāng)接近于1。

具體而言，GloVe基于加權(quán)最小二乘回歸模型，輸入為單詞-上下文同時(shí)出現(xiàn)頻次矩陣：

其中，f為加權(quán)函數(shù)，降低過(guò)大的同時(shí)出現(xiàn)頻次的影響。

GN-GloVe

這篇論文提出了一個(gè)GloVe的性別中立變體，稱為GN-Glove. GN-Glove將詞向量w分成兩部分w = [w(a); w(g)]，其中w(a)∈ ?d-k表示中立成分，而w(g)∈ ?k則表示性別成分，k是為性別信息保留的維數(shù)（論文中將k設(shè)為1，即為性別信息保留一個(gè)維度）。

GN-GloVe訓(xùn)練的目標(biāo)是將性別特征作為保護(hù)屬性隔離在w(g)中，使w(a)中的信息不受性別影響。相應(yīng)地，目標(biāo)函數(shù)包括三部分：

其中，λd和λe為超參數(shù)，調(diào)節(jié)目標(biāo)函數(shù)不同部分的影響力。

JG是我們之前給出的GloVe的目標(biāo)函數(shù)，JD和JE迫使性別信息限于w(g)之中，使w(a)保持性別中立。

現(xiàn)在我們來(lái)考慮下，如何定義JD，可以讓性別信息盡量隔離在w(g)中，也就是讓w(g)表示更多的性別信息？

我們可以在監(jiān)督學(xué)習(xí)的背景下考慮這個(gè)問(wèn)題。假設(shè)我們有一些（人工標(biāo)注的）性別定義詞，那么，如果w(g)能夠很好地表示這些性別定義詞的信息，那么表示男性的性別定義詞和表示女性的性別定義詞的差距會(huì)很大，從而充分體現(xiàn)性別差異。比方說(shuō)，“父”的w(g)是2.0，“母”的w(g)是-2.0，相比“父”的w(g)是0.02，“母”的w(g)是0.03，一般來(lái)說(shuō)，前者要更好。由此，我們給出如下的JD定義：

簡(jiǎn)單說(shuō)明一下上面的公式，ΩM和ΩF分別是男性定義詞（male-definition word）和女性定義詞（female-definition word）的集合，論文基于WordNet的定義劃分這兩個(gè)集合?？紤]的是總體的情況，所以進(jìn)行了累加。因?yàn)檎撐臑樾詣e信息保留了一個(gè)維度，所以上面舉例的時(shí)候直接使用了實(shí)數(shù)表示w(g)，但實(shí)際上性別信息可以占用不止一個(gè)維度，因此JD的定義使用了矩陣運(yùn)算。最后，我們需要最大化男性定義詞和女性定義詞之前的差距，但最終我們需要最小化目標(biāo)函數(shù)值，所以最后進(jìn)行了取反操作。

當(dāng)然，JD的定義不止這一種。我們還可以將w(g)的取值限制在一定范圍內(nèi)，比如[-1, 1]，然后盡可能將w(g)往兩端推：(1-w父(g))2+(-1-w母)2. 比如，假設(shè)“父”向量的w(g)是1，而“母”向量的w(g)是-1，代入上式，結(jié)果為0.

由此我們可以得到JD的第二種定義。當(dāng)然，同樣，w(g)實(shí)際上是向量，所以我們引入一個(gè)向量e ∈ ?k，該向量的所有分量為1. 然后我們考慮的也是ΩM和ΩF上的整體情況，所以累加一下。最后，[-1, 1]是一個(gè)比較合適的取值范圍，但我們完全可以選擇其他取值范圍。所以我們?cè)僖雰蓚€(gè)系數(shù)，將取值范圍設(shè)定為[β2, β1]. 最終的JD定義為：

好了，接下來(lái)我們討論JE，也就是處理w(a)的部分。

這里，我們引入了vg∈ ?d-k，嵌入空間的性別方向。性別方向的概念很簡(jiǎn)單。假設(shè)我們有很多對(duì)性別詞，比如“father”（父）和“mother”（母）、“man”（男人）和“woman”（女人）、“國(guó)王”（king）和“queen”（王后），將這些成對(duì)的性別詞向量相減，比如“父 - 母”、“男人 - 女人”、“國(guó)王 - 王后”，然后取平均，就得到了性別方向。具體來(lái)說(shuō)，可以使用以下公式表示：

上式中，Ω'是預(yù)定義的成對(duì)性別詞向量集合。這里我們沒(méi)有直接將詞向量w相減，而是將w(a)相減。這是因?yàn)?，通常情況下，用于保留性別向量的維度很少（論文只使用了一個(gè)維度），而一般來(lái)說(shuō)詞向量至少有好幾百維度。而且，在訓(xùn)練開始階段，w(a)中同樣包含很多性別信息（否則就不需要訓(xùn)練了）。

然后，類似ΩM和ΩF，我們可以基于WordNet劃分性別中立詞集合ΩN。由于是性別中立詞，所以我們期望它們?cè)谛詣e方向上的投影接近零。這和Bolukbasi等將性別中立詞投影到一個(gè)正交于性別維度的子空間的做法類似。

總之，我們用標(biāo)記過(guò)的性別定義詞來(lái)優(yōu)化wg，用標(biāo)記過(guò)的性別中立詞來(lái)優(yōu)化wa，再加上GloVe原本的優(yōu)化目標(biāo)，就得到了GN-GloVe的優(yōu)化目標(biāo)。

而且，整個(gè)目標(biāo)函數(shù)J是可微的，所以論文在訓(xùn)練時(shí)能夠采用隨機(jī)梯度下降進(jìn)行優(yōu)化。為了簡(jiǎn)化訓(xùn)練詞嵌入的計(jì)算復(fù)雜度，論文假定性別方向vg是一個(gè)固定向量（也就是說(shuō)，在更新w(a)的時(shí)候，不計(jì)算在vg上的梯度），只在每個(gè)epoch開始的時(shí)候更新下vg.

試驗(yàn)

論文做了全面的試驗(yàn)，驗(yàn)證隔離性別信息至特定維度的想法的有效性：

可視化了嵌入空間，表明GN-GloVe分隔開了保護(hù)屬性和其他潛屬性。

在新的標(biāo)注數(shù)據(jù)集上測(cè)量了GN-GloVe區(qū)分性別定義詞（gender-definition words）和性別刻板詞（gender-stereotype words）的能力。

評(píng)估了GN-GloVe在標(biāo)準(zhǔn)詞嵌入基準(zhǔn)數(shù)據(jù)集上的表現(xiàn)，表明隔離性別信息沒(méi)有影響詞嵌入的功能。

演示了GN-GloVe在一個(gè)下游應(yīng)用中降低性別偏差的效果。

設(shè)定

對(duì)比的基線為原生GloVe和Hard-Glove（即之前提到的Bolukbasi等提出的方法）。

所有嵌入基于2017年的英文維基百科（2017 English Wikipedia dump），GloVe的超參數(shù)使用默認(rèn)值。

訓(xùn)練GN-GloVe時(shí)，論文將每個(gè)維度的取值范圍限定于[-1, 1]，以避免數(shù)值問(wèn)題。λd和λe均設(shè)為0.8. 根據(jù)論文作者的初步研究，模型對(duì)這些超參數(shù)不敏感。另外，除非特別注明，JD使用第一種定義（L1）。

可視化嵌入空間

論文可視化了詞向量的性別分量wg在嵌入空間中的分布（為了便于查看，將橫軸拉伸至[-2, 2]）。

上圖中，紅點(diǎn)為女性定義詞（例如waitress女侍者、nun尼姑、maid女仆、housewife家庭主婦、businesswoman女商人、ballerina芭蕾舞女演員、actress女演員），綠三角為男性定義詞（例如waiter男侍者、salesman男售貨員、policeman男警察、monk和尚、landlord男地主、headmaster男校長(zhǎng)、handyman男雜務(wù)工、congressman男議員）。圖中的性別定義詞位于橫軸的兩端，這并不出乎我們的意料，畢竟目標(biāo)函數(shù)中w(g)部分的優(yōu)化正是基于性別定義詞的集合ΩM和ΩF。

藍(lán)叉表示性別中立詞。從上圖可以看到，雖然確實(shí)存在越靠近0，性別中立詞的性別分量分布就越密集的趨勢(shì)，但總體上來(lái)說(shuō)性別中立詞的性別分量分布得比較分散，這說(shuō)明基于維基百科訓(xùn)練的性別中立詞仍然包含性別信息。其中，紫五星是一些性別中立的表示職業(yè)的詞匯。這些詞匯的可視化表明GN-GloVe能夠恰當(dāng)?shù)乇Ａ粜詣e中立詞中的性別信息。例如，圖中的“nurse”（護(hù)士）的性別分量更接近女性，而“captain”（船長(zhǎng)）的性別分量更接近男性，和日常的刻板印象一致。

為了驗(yàn)證GN-GloVe很好地隔離了性別信息，論文可視化了上面這些表示職業(yè)的詞匯的中立成分w(a)在性別方向vg上的投影（即w(a)和vg的余弦相似度）。

左：GloVe；右：GN-GloVe

可以看到，相比性別刻板印象嚴(yán)重的GloVe，GN-GloVe的中立分量在性別方向上的投影接近零，這說(shuō)明GN-GloVe很好地隔離了性別信息。

論文統(tǒng)計(jì)了表示職業(yè)的詞匯在性別子空間上的投影平均長(zhǎng)度。GloVe是0.080，GN-Glove是0.052. 也就是說(shuō)，相比GloVe，GN-Glove降低了35%的性別偏差。當(dāng)然，完全去除性別信息的Hard-GloVe能取得更好的結(jié)果，0.019，然而，這也意味著Hard-GloVe損失了性別信息，并且區(qū)分性別刻板詞和性別定義詞的能力較差。

SemBias

為了研究模型表示的性別信息的質(zhì)量，論文按照SemEval 2012 Task2的方式，創(chuàng)建了一個(gè)SemBias數(shù)據(jù)集。這個(gè)數(shù)據(jù)集中的每個(gè)樣本包含4對(duì)單詞，即一對(duì)性別定義詞（例如，waiter - waitress，男侍者 - 女侍者），一對(duì)性別刻板詞（例如，doctor - nurse，醫(yī)生 - 護(hù)士），兩對(duì)與性別無(wú)關(guān)的意思相近的詞（例如，dog - cat，狗 - 貓，cup - lid，杯 - 蓋）。模型需要比較這四對(duì)詞中，哪一對(duì)和“he - she”（他 - 她）更接近。理想情形下，模型應(yīng)當(dāng)選中性別定義詞對(duì)。

從上表我們看到，GN-Glove在SemBias上達(dá)到了97.7%的精確度，顯著高于GloVe和Hard-GloVe的表現(xiàn)。SemBias（subset）是包含未在訓(xùn)練中作為種子詞匯使用的單詞對(duì)的數(shù)據(jù)子集。在這一子集上，GN-GloVe的表現(xiàn)就更突出了，這表明GN-GloVe可以很好地將基于訓(xùn)練集學(xué)習(xí)到的識(shí)別能力推廣到其他性別定義詞。相反，移除了所有性別信息的Hard-GloVe的表現(xiàn)就很糟糕了，幾乎是在隨機(jī)猜測(cè)了。

詞匯相似度和類比

在標(biāo)準(zhǔn)詞嵌入基準(zhǔn)數(shù)據(jù)集上的評(píng)估表明，GN-GloVe在相似度任務(wù)上達(dá)到了更高的精確度，而在類比任務(wù)中的評(píng)分略有下降。總體而言，GN-GloVe和GloVe、Hard-GloVe表現(xiàn)大致相當(dāng)，隔離性別信息并未影響詞嵌入的一般功能。

簡(jiǎn)單說(shuō)明一下上面的表格。類比任務(wù)回答“A對(duì)應(yīng)B，就像C對(duì)應(yīng)_？”這一問(wèn)題，也就是在嵌入空間中找到最接近wA- wB+ wC的詞向量w. 相似度任務(wù)則評(píng)估詞嵌入模型捕捉單詞相似度的能力（對(duì)比人類標(biāo)注）。

指代消解

最后，論文測(cè)試了GN-GloVe在下游應(yīng)用指代消解上的表現(xiàn)。

指代消解

論文使用了Ontonotes 5.0和WinoBias這兩個(gè)數(shù)據(jù)集。其中，WinoBias數(shù)據(jù)集由兩部分構(gòu)成，PRO子集偏向刻板印象，ANTI子集反刻板印象。例如，PRO子數(shù)據(jù)集中有一個(gè)樣本是“The CEO raised the salary of the receptionist because he is generous.”（CEO給接待員漲了薪水，因?yàn)樗芸犊?。）在這個(gè)句子中，代詞“he”（他）指代“CEO”，和社會(huì)的刻板印象一致。而ANTI子數(shù)據(jù)集包含幾乎一模一樣的樣本，只是性別人稱代詞換成相反的性別，也就是把“he”（他）改成“she”（她）。這和社會(huì)的刻板印象相悖，在當(dāng)前社會(huì)，女性CEO在所有CEO中所占的比例遠(yuǎn)低于男性。

上表中，Avg表示W(wǎng)inoBias數(shù)據(jù)集的平均F1值（PRO和ANTI的F1值的平均），Diff表示PRO和ANTI的F1值差異的絕對(duì)值（Diff越低，說(shuō)明系統(tǒng)中的性別偏差越低）。總體上來(lái)說(shuō)，在OntoNotes數(shù)據(jù)集上，GN-GloVe取得了和GloVe、Hard-GloVe相當(dāng)?shù)谋憩F(xiàn)。而在WinoBias數(shù)據(jù)集上，相比GloVe，GN-GloVe顯著降低了性別偏差。在只使用中立成分w(a)的情況下，GN-GloVe的性別偏差水平接近完全去除性別信息的Hard-GloVe.

結(jié)語(yǔ)

在本文的結(jié)尾，讓我們回顧一下GN-GloVe的優(yōu)勢(shì)：

通用性高，適用于任何語(yǔ)言（只需提供預(yù)定義的種子詞匯），可擴(kuò)展至GloVe以外的嵌入模型和性別以外的保護(hù)屬性。

隔離了性別信息，既緩解了在下游應(yīng)用中加劇刻板印象的問(wèn)題，又可用于社會(huì)科學(xué)研究等需要性別信息的場(chǎng)景而無(wú)需重新訓(xùn)練詞嵌入。

隔離性別信息后，改善了詞嵌入的可解釋性。

不依賴分類器區(qū)分性別中立詞，避免了分類誤差傳播問(wèn)題。