機(jī)器學(xué)習(xí)模型的“可解釋性”的概念及其重要意義

人們對(duì)深度學(xué)習(xí)模型的真正運(yùn)行機(jī)制還遠(yuǎn)遠(yuǎn)沒(méi)有完全了解，如何提高預(yù)測(cè)模型的“可解釋性”成了一個(gè)日益重要的話題。近來(lái)的一篇論文討論了機(jī)器學(xué)習(xí)模型的“可解釋性”的概念及其重要意義。

7月17日，加州大學(xué)圣迭戈分校（UCSD）博士、卡內(nèi)基梅隆大學(xué)（CMU）計(jì)算機(jī)科學(xué)助理教授Zachary C. Lipton在ACM Queue上發(fā)表了題為《The Mythos of Model Interpretability》的文章，討論了監(jiān)督式機(jī)器學(xué)習(xí)預(yù)測(cè)模型的可解釋性問(wèn)題。Lipton在文中試圖明確“可解釋性”的定義，并對(duì)“可解釋性”進(jìn)行分類(lèi)，并提出了一個(gè)重要觀點(diǎn)，認(rèn)為線性模型的可解釋性并不一定高于深度神經(jīng)網(wǎng)絡(luò)（DNN）模型。

以下是新智元對(duì)論文內(nèi)容的簡(jiǎn)編。

監(jiān)督式的機(jī)器學(xué)習(xí)模型具有卓越的預(yù)測(cè)能力。不過(guò)，機(jī)器學(xué)習(xí)模型不僅應(yīng)該可用，而且應(yīng)該是可解釋的，但“解釋機(jī)器學(xué)習(xí)模型”的任務(wù)定義似乎不夠明確。學(xué)術(shù)文獻(xiàn)中提出了為模型尋求可解釋性的許多動(dòng)機(jī)，并提供了無(wú)數(shù)的技術(shù)來(lái)提供可解釋的模型。盡管存在這種模棱兩可的情況，但許多作者宣稱(chēng)他們的模型在公理上是可解釋的，然而對(duì)此卻缺乏進(jìn)一步的論證。問(wèn)題是，目前尚不清楚這些技術(shù)的共同特性是什么。

本文旨在完善關(guān)于可解釋性的表述。首先，文章回顧了以前論文中解決可解釋性的目標(biāo)，發(fā)現(xiàn)這些目標(biāo)多種多樣，偶爾還有相互矛盾。接著討論了研究可解釋性的模型屬性和技術(shù)思路，以及模型對(duì)人而言的識(shí)別透明度，并引入了“事后可解釋性”的概念作為對(duì)比。文章討論了關(guān)于模型可解釋性概念的不同觀點(diǎn)的可行性和合理之處，對(duì)“線性模型可解釋?zhuān)疃壬窠?jīng)網(wǎng)絡(luò)不可解釋”這一常見(jiàn)的觀點(diǎn)提出了質(zhì)疑。

在過(guò)去的20年中，機(jī)器學(xué)習(xí)的快速發(fā)展產(chǎn)生了自動(dòng)決策。在實(shí)際應(yīng)用中，大多數(shù)基于機(jī)器學(xué)習(xí)的決策的運(yùn)作方式是這樣的：用輸入數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)算法，然后由算法預(yù)測(cè)相應(yīng)的輸出。例如，給定一組關(guān)于金融交易的屬性信息，機(jī)器學(xué)習(xí)算法可以預(yù)測(cè)長(zhǎng)期的投資回報(bào)。給定來(lái)自CT掃描的圖像，算法可以該圖像的掃描對(duì)象罹患癌性腫瘤的概率。

機(jī)器學(xué)習(xí)算法接收大量成對(duì)數(shù)據(jù)（輸入和輸出），然后輸出一個(gè)模型，能夠預(yù)測(cè)之前未見(jiàn)過(guò)的輸入。研究人員將這個(gè)模式稱(chēng)為“監(jiān)督式學(xué)習(xí)”。然后，為了讓決策過(guò)程完全自動(dòng)化，可以將模型的輸出提供給某個(gè)決策規(guī)則。例如，垃圾郵件過(guò)濾器可以通過(guò)程序舍棄被預(yù)測(cè)為垃圾郵件（置信度超過(guò)某閾值）的電郵。

什么是可解釋性，它為什么如此重要？

目前機(jī)器學(xué)習(xí)在醫(yī)學(xué)、刑事司法系統(tǒng)和金融市場(chǎng)等關(guān)鍵領(lǐng)域的應(yīng)用越來(lái)越廣泛，但人類(lèi)無(wú)法真正理解這些模型，這是個(gè)問(wèn)題。一些人提出了模型的“可解釋性”作為一種補(bǔ)救措施，但在學(xué)術(shù)文獻(xiàn)中，很少有作者準(zhǔn)確地闡明了“可解釋性”的含義，也沒(méi)有準(zhǔn)確解釋他們提出的解決方案為何是有用的。

盡管缺乏定義，但越來(lái)越多的文獻(xiàn)提出了據(jù)稱(chēng)可解釋的算法。這樣來(lái)看我們似乎可以得出以下結(jié)論：要么是（1）人們對(duì)可解釋性的定義是普遍認(rèn)同的，但沒(méi)人愿意費(fèi)心以書(shū)面表達(dá)出來(lái)，要么就是（2）對(duì)“可解釋性”的定義是不明確的，所以關(guān)于機(jī)器學(xué)習(xí)模型的可解釋性的觀點(diǎn)都顯得科學(xué)性不足。對(duì)相關(guān)文獻(xiàn)的研究表明，后者與實(shí)際情況相符合。關(guān)于模型可解釋性的文獻(xiàn)中提出的目標(biāo)和方法多種多樣，這表明可解釋性不是一個(gè)單一概念，而是一些彼此迥然不同的觀點(diǎn)，有必要將這些觀點(diǎn)分開(kāi)來(lái)討論。

本文側(cè)重討論監(jiān)督式學(xué)習(xí)，而非強(qiáng)化學(xué)習(xí)和互動(dòng)學(xué)習(xí)等其他機(jī)器學(xué)習(xí)范式。這是因?yàn)楫?dāng)前在實(shí)際應(yīng)用中，監(jiān)督式學(xué)習(xí)居于首要地位。同時(shí)給出了對(duì)“線性模型可解釋?zhuān)顚由窠?jīng)網(wǎng)絡(luò)不可解釋”這個(gè)常見(jiàn)觀點(diǎn)的分析。首先需要明確的是，什么是可解釋性？可解釋性為什么如此重要？

許多人提出，可解釋性就是對(duì)模型產(chǎn)生信任的方式。這又導(dǎo)致了另一個(gè)關(guān)于認(rèn)識(shí)論的問(wèn)題：什么是信任？是指對(duì)模型能夠表現(xiàn)良好的信心嗎？還是說(shuō)“可解釋性”只是意味著對(duì)模型的低層級(jí)機(jī)制的理解？信任是否是一種主觀的定義？

還有人認(rèn)為，可解釋的模型就是可取的，因?yàn)樗赡苡兄诮沂居^察數(shù)據(jù)中的因果結(jié)構(gòu)。而關(guān)于解釋權(quán)的法律概念為可解釋性一詞提供了另一個(gè)視角。有時(shí)，尋求可解釋性的目的，可能只是為了從模型中獲取更多有用的信息。

本文討論了模型的哪些屬性可以讓它們變得可解釋。有些論文將可解釋性與可理解性或可理解性等同起來(lái)，在這些論文中，可理解的模型有時(shí)被稱(chēng)為“透明”的，而難以理解的模型被稱(chēng)為黑盒子。但是透明度是什么？算法本身會(huì)收斂嗎？有唯一解嗎？人們是否了解每個(gè)參數(shù)代表什么？或者考慮模型的復(fù)雜性：是否足夠簡(jiǎn)單？

其他內(nèi)容包括“事后可解釋”的概念。這種解釋可能解釋了預(yù)測(cè)結(jié)果，但沒(méi)有闡明預(yù)測(cè)模型運(yùn)作的機(jī)制。比如由人類(lèi)生成的口頭解釋?zhuān)蛘哂糜诜治錾疃壬窠?jīng)網(wǎng)絡(luò)的顯著性圖。因此，人類(lèi)做出的決定可能會(huì)滿足“事后可解釋”，不過(guò)人類(lèi)大腦的運(yùn)作機(jī)制仍是個(gè)黑盒子，這表明兩種常見(jiàn)的可解釋性概念之間的矛盾。

本論文的作者Zachary C. Lipton

線性模型和深度網(wǎng)絡(luò)模型的取舍

可解釋性的概念很重要、也很棘手。本文分析了可解釋性的動(dòng)機(jī)和研究界提出的一些嘗試?，F(xiàn)在讓我們考慮一下這種分析的含義并提供一些內(nèi)容。

線性模型并不比深度神經(jīng)網(wǎng)絡(luò)具有更高的可解釋性。盡管這種說(shuō)法很流行，但其真實(shí)價(jià)值取決于采用哪種可解釋性的概念。如果可解釋性指的是算法透明度，那么這種說(shuō)法似乎沒(méi)有什么爭(zhēng)議，但對(duì)高維特征或經(jīng)大幅修正的特征而言，線性模型就分別不具備可模擬性和可分解性。

在線性模型和深度模型之間進(jìn)行選擇時(shí)，我們時(shí)常要在算法透明度和可分解性之間進(jìn)行權(quán)衡。這是因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)模型一般面向原始特征或輕度處理的特征。所以如果不出意外，這些特征都具有直觀的意義，因而采用“事后可解釋性”的概念是可以接受的。而線性模型則不同，為了獲得足夠的性能，通常必須面向大量經(jīng)人工設(shè)計(jì)的特征。Zachary Lipton曾與他人合作撰文指出，線性模型要想接近遞歸神經(jīng)網(wǎng)絡(luò)（RNN）的性能，就必須以舍棄可分解性為代價(jià)。

如果考察某些類(lèi)型的“事后可解釋性”（post-hoc interpretable），深度神經(jīng)網(wǎng)絡(luò)具有明顯的優(yōu)勢(shì)。深度神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)豐富的表示，這些表示能夠可視化、用語(yǔ)言表達(dá)或用于聚類(lèi)。如果考慮對(duì)可解釋性的需求，似乎線性模型在研究自然世界上的表現(xiàn)更好，但這似乎沒(méi)有理論上的原因。

關(guān)于可解釋性的聲明必須是合格的。可解釋性一詞并沒(méi)有一個(gè)整體概念。關(guān)于可解釋性的任何觀點(diǎn)都應(yīng)該首先為“可解釋性”確定一個(gè)特定的定義。如果模型滿足透明度的形式，則可解釋性可以直接體現(xiàn)出來(lái)。對(duì)于“事后可解釋性”，則應(yīng)確定一個(gè)明確的目標(biāo)，并證明所提供的解釋形式能夠?qū)崿F(xiàn)這一目標(biāo)。

事后解釋可能會(huì)有誤導(dǎo)性。不能一味接受“事后可解釋”的概念，特別是在基于主觀目標(biāo)對(duì)模型做特定優(yōu)化時(shí)。因?yàn)樵谶@種情況下，人們可能會(huì)在有意無(wú)意間優(yōu)化算法，以提供誤導(dǎo)性、但貌似合理的解釋。就像在招聘活動(dòng)和大學(xué)錄取中的一些行為一樣。我們?cè)谂ν茝V機(jī)器學(xué)習(xí)模型的應(yīng)用，模仿人類(lèi)智能的過(guò)程中，更應(yīng)該小心不要重現(xiàn)大規(guī)模的不正常行為。

未來(lái)方向

未來(lái)有幾個(gè)有前途的方向。首先，對(duì)于某些問(wèn)題，可以開(kāi)發(fā)更豐富的損失函數(shù)和性能指標(biāo)，降低現(xiàn)實(shí)與機(jī)器學(xué)習(xí)目標(biāo)之間的差異。包括對(duì)稀疏誘導(dǎo)正則化因子（sparsity-inducing regularizers）和成本敏感學(xué)習(xí)（cost-sensitive learning）的研究。其次，這種分析可以擴(kuò)展到其他機(jī)器學(xué)習(xí)范式中，比如強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)模型可通過(guò)直接對(duì)模型與環(huán)境的交互進(jìn)行建模，從而解決模型可解釋性研究中的一些問(wèn)題。

值得注意的是，強(qiáng)化學(xué)習(xí)模型能夠?qū)W習(xí)自身行為與現(xiàn)實(shí)世界的影響之間的因果關(guān)系。然而，與監(jiān)督式學(xué)習(xí)一樣，強(qiáng)化學(xué)習(xí)同樣依賴于明確定義的標(biāo)量目標(biāo)。對(duì)于公平性（fairness）問(wèn)題，這個(gè)我們正在努力精確定義的指標(biāo)，機(jī)器學(xué)習(xí)范式可解釋度的提升則不大可能解決。

觀點(diǎn)爭(zhēng)鳴

不過(guò)，關(guān)于這個(gè)問(wèn)題也有人提出了一些異議，谷歌大腦軟件工程師、斯坦福大學(xué)計(jì)算機(jī)科學(xué)碩士Akshay Agrawal就對(duì)Lipton論文中的主要觀點(diǎn)進(jìn)行了歸納，并提出了不少不同意見(jiàn)。

對(duì)此文提出不同意見(jiàn)的Akshay Agrawal

Agrawal認(rèn)為L(zhǎng)ipton的論文對(duì)模型可解釋性的定義分為三個(gè)方面：

第一是透明度，其表現(xiàn)形式是“可模擬性”，即人類(lèi)應(yīng)該可以手動(dòng)模擬機(jī)器學(xué)習(xí)模型。第二是“可分解性”，即模型的每個(gè)部分都有直觀的解釋。第三是算法，算法應(yīng)該有獨(dú)一無(wú)二的解。

Agrawal認(rèn)為：第一點(diǎn)有些問(wèn)題，因?yàn)橛?jì)算機(jī)的目的是自動(dòng)完成人類(lèi)在合理的時(shí)間內(nèi)無(wú)法完成的任務(wù)。第二點(diǎn)講得很好。第三點(diǎn)也有問(wèn)題，因?yàn)榧词乖谕姑嫔仙踔炼疾荒鼙ＷC有唯一解。而算法的確定性問(wèn)題已經(jīng)不屬于機(jī)器學(xué)習(xí)的范圍。

Agrawal表示，在可解釋性問(wèn)題上，重要問(wèn)題的有兩點(diǎn)：

1. 這個(gè)模型是否能推廣用在未見(jiàn)過(guò)的數(shù)據(jù)上面？如果在對(duì)某個(gè)推廣假設(shè)試圖證偽之后，該假設(shè)仍然成立，那么這個(gè)模型就是可解釋的。我認(rèn)為這與Lipton在此文中說(shuō)的“可轉(zhuǎn)移性”的概念差不多。

2. 該模型是否足夠安全，比如是否能夠防止欺騙？確定模型的安全性是一個(gè)懸而未決的問(wèn)題。也許可以通過(guò)使用Lipton在他的論文中調(diào)查的一些工具來(lái)研究這個(gè)問(wèn)題。不過(guò)我很清楚，驗(yàn)證神經(jīng)網(wǎng)絡(luò)模型的安全性要比對(duì)線性模型進(jìn)行驗(yàn)證要困難得多。