深度理解神經(jīng)網(wǎng)絡(luò)黑盒子:可驗(yàn)證性和可解釋性

近年來(lái)，人工智能尤其是在機(jī)器學(xué)習(xí)領(lǐng)域中，取得了非常巨大的成就，看似其未來(lái)更加光明。然而這些系統(tǒng)仍舊不夠完美，尤其是被應(yīng)用到一些因?yàn)樾┰S錯(cuò)誤就能夠?qū)е氯嗣鼈騼|萬(wàn)財(cái)產(chǎn)損失的行業(yè)中時(shí)，這將會(huì)存在巨大的風(fēng)險(xiǎn)。

這需要我們?nèi)藶閷?duì)這些系統(tǒng)進(jìn)行保障，其中包括可驗(yàn)證性、可靠性、魯棒性、可審計(jì)性、可解釋性和無(wú)偏性，對(duì)此，斯坦福 AI 實(shí)驗(yàn)室對(duì)近年來(lái)關(guān)于 AI 安全、可靠性的研究進(jìn)展進(jìn)行了總結(jié)，并以文章的形式發(fā)布在博客上。

概述

為了能在一些關(guān)鍵應(yīng)用中使用先進(jìn)的 AI 系統(tǒng)，比如：商用飛機(jī)防撞、金融交易或大規(guī)模發(fā)電廠、化工廠控制等應(yīng)用；我們必須保證這些系統(tǒng)具有可驗(yàn)證性（以正確的方式對(duì)一系列輸入進(jìn)行驗(yàn)證）、可靠性（即使是新的未見過(guò)的輸入，表現(xiàn)能夠與預(yù)期相符）、魯棒性（在應(yīng)用時(shí)不易受噪音或特定輸入干擾）、可審計(jì)性（當(dāng)做出任何給定的決定時(shí)，可檢查其內(nèi)部狀態(tài)）、可解釋性（有條理的，可以確保產(chǎn)生決策的數(shù)據(jù)、場(chǎng)景和假設(shè)都是能夠被解釋清楚的）以及無(wú)偏性（不會(huì)對(duì)某類行為表現(xiàn)出無(wú)意識(shí)的偏好）。

毫無(wú)疑問(wèn)，這對(duì) AI 系統(tǒng)提出了一系列極為嚴(yán)苛的要求。不過(guò)可喜的是，世界上已經(jīng)有一批來(lái)自斯坦福人工智能實(shí)驗(yàn)室和斯坦福研究社區(qū)的優(yōu)秀 AI 研究人員（其中包括 Clark Barrett, David Dill, Chelsea Finn, Mykel Kochenderfer, Anshul Kundaje, Percy Liang, Tengyu Ma, Subhasish Mitra, Marco Pavone, Omer Reingold, Dorsa Sadigh 以及 James Zou）正在努力解決這個(gè)問(wèn)題。

本文將介紹一些致力于實(shí)現(xiàn)安全可靠的 AI 技術(shù)的研究案例。我們將從中看到新技術(shù)如何理解神經(jīng)網(wǎng)絡(luò)的黑盒子、如何找到和消除偏見，以及如何確保自動(dòng)化系統(tǒng)的安全性。

理解神經(jīng)網(wǎng)絡(luò)的黑盒子：可驗(yàn)證性和可解釋性

雖然神經(jīng)網(wǎng)絡(luò)在近年來(lái) AI 領(lǐng)域取得的成就中發(fā)揮了關(guān)鍵作用，但它們依舊只是有限可解釋性的黑盒函數(shù)近似器。即便是試圖將有限訓(xùn)練數(shù)據(jù)泛化到未見過(guò)的輸入，它們?cè)谛〉母蓴_下也可能失敗，更何況這種做法還會(huì)導(dǎo)致難以驗(yàn)證算法的魯棒性。

讓我們看看當(dāng)前研究工作的兩個(gè)案例，它們讓研究者可以檢驗(yàn)神經(jīng)網(wǎng)絡(luò)的內(nèi)部運(yùn)作。第一個(gè)是關(guān)于可驗(yàn)證性，第二個(gè)則是關(guān)于可解釋性。

深度神經(jīng)網(wǎng)絡(luò)的可驗(yàn)證性

我們希望確保神經(jīng)網(wǎng)絡(luò)能夠適用于所有可能的情況，但可驗(yàn)證性在實(shí)驗(yàn)方面超出了現(xiàn)有工具力所能及的范圍。目前，專用工具只能處理非常小的網(wǎng)絡(luò)，例如具有 10-20 個(gè)隱藏節(jié)點(diǎn)的單個(gè)隱藏層。Katz 等人在論文「Reluplex: An efficient SMT solver for verifying deep neural networks」（論文地址：https://arxiv.org/abs/1702.01135）中提出了 Reluplex，一種用于神經(jīng)網(wǎng)絡(luò)錯(cuò)誤檢測(cè)的新算法。Reluplex 將線性編程技術(shù)與 SMT（可滿足性模塊理論）求解技術(shù)相結(jié)合，其中神經(jīng)網(wǎng)絡(luò)被編碼為線性算術(shù)約束。核心觀點(diǎn)就是避免數(shù)學(xué)邏輯永遠(yuǎn)不會(huì)發(fā)生的測(cè)試路徑，這允許測(cè)試比以前更大的數(shù)量級(jí)的神經(jīng)網(wǎng)絡(luò)，例如，每個(gè)具有 8 層和 300 個(gè)節(jié)點(diǎn)的全連接神經(jīng)網(wǎng)絡(luò)。

Reluplex 可以在一系列輸入上證明神經(jīng)網(wǎng)絡(luò)的屬性。它可以測(cè)量對(duì)抗魯棒性，換言之，即測(cè)量可以產(chǎn)生虛假結(jié)果的最小或閾值對(duì)抗性信號(hào)。見 Raghunathan 等人的《針對(duì)對(duì)抗性實(shí)例的認(rèn)證防御》（https://openreview.net/pdf?id=Bys4ob-Rb），這是另一個(gè)評(píng)估對(duì)抗魯棒性的案例。

Reluplex 案例研究：無(wú)人機(jī)防撞

Reluplex 曾被用來(lái)測(cè)試 ACAS Xu （https://arxiv.org/abs/1810.04240）早期原型的神經(jīng)網(wǎng)絡(luò)，是一種用于無(wú)人機(jī)的機(jī)載防撞系統(tǒng)。如圖所示，該系統(tǒng)考慮了兩架無(wú)人機(jī)：一架是由 ACAS Xu 軟件控制的你自己的無(wú)人機(jī)「Ownship」，另一架是我們進(jìn)行觀察的無(wú)人機(jī)「Intruder」。其目標(biāo)是引導(dǎo)「Ownship」避免與「Intruder」發(fā)生碰撞。

在第一種情況下，要求研究人員展示，如果「Intruder」從左側(cè)接近，那么系統(tǒng)將建議「Ownship」向右急轉(zhuǎn)彎。研究人員使用一定的計(jì)算資源在 1.5 小時(shí)內(nèi)證明了該網(wǎng)絡(luò)在每種情況下都能正常運(yùn)行。另一個(gè)更為復(fù)雜的情況是 「Intruder」 和 「Ownship」 處于不同海拔高度的情況，此外 「Ownship」 在這之前還接收到了關(guān)于緩慢左轉(zhuǎn)的建議。這說(shuō)明了在這種系統(tǒng)中可能出現(xiàn)的復(fù)雜性。在這種情況下，網(wǎng)絡(luò)應(yīng)該建議 COC（沒(méi)有沖突，即保持當(dāng)前路線）或緩慢左轉(zhuǎn)。研究人員使用適度的計(jì)算資源在 11 個(gè)小時(shí)內(nèi)找到了一個(gè)反例，后來(lái)又在不同的網(wǎng)絡(luò)中糾正了該反例。

理解模型預(yù)測(cè)

我們能解釋為什么神經(jīng)網(wǎng)絡(luò)會(huì)做出具體的預(yù)測(cè)嗎？這是 Koh 和 Liang 在論文「 Understanding black-box predictions via influence functions」（https://arxiv.org/pdf/1703.04730.pdf）中提出的問(wèn)題。當(dāng)深度學(xué)習(xí)模型用于決定獲得金融貸款或健康保險(xiǎn)的對(duì)象以及一些其他應(yīng)用程序時(shí)，這一點(diǎn)非常重要。當(dāng)人工智能系統(tǒng)易于理解時(shí)，他們可能會(huì)做出更好的決策，從而改進(jìn)模型的開發(fā)，得出更重大的發(fā)現(xiàn)，深化我們對(duì) AI 的信任，以及實(shí)現(xiàn)更好的發(fā)展。因此，研究人員的方法是對(duì)給定預(yù)測(cè)結(jié)果最相關(guān)訓(xùn)練節(jié)點(diǎn)的確定。他們的關(guān)鍵點(diǎn)是使用「影響函數(shù)」，通過(guò)數(shù)學(xué)來(lái)回答這個(gè)問(wèn)題：「如果我們沒(méi)有訓(xùn)練節(jié)點(diǎn)，模型的預(yù)測(cè)會(huì)如何變化？」

在上圖中，如果這只白狗的像素點(diǎn)正是使得該神經(jīng)網(wǎng)絡(luò)將其識(shí)別為狗，那么系統(tǒng)就非常合理。換句話說(shuō)，如果海浪的像素點(diǎn)被識(shí)別輸出為「狗」，則該系統(tǒng)易錯(cuò)率就很高 ——僅具有海浪的其他圖像可能被錯(cuò)誤地歸類為「狗」。通過(guò)正確識(shí)別白狗的像素影響比海浪像素更高，我們的系統(tǒng)在處理噪聲時(shí)就會(huì)表現(xiàn)得更可靠。

尋找和消除偏差

人工智能系統(tǒng)反映出社會(huì)偏差一點(diǎn)都不讓人驚訝。Zou 和 Schiebinger 在論文「Design AI so that it’s fair 」（https://www.nature.com/articles/d41586-018-05707-8）中指出偏差可能有兩個(gè)來(lái)源，即訓(xùn)練數(shù)據(jù)和算法。訓(xùn)練數(shù)據(jù)中的偏差可能是由于某些群體在數(shù)據(jù)庫(kù)中占比過(guò)高或過(guò)低，解決方案是調(diào)查如何策劃訓(xùn)練數(shù)據(jù)。而算法可以放大偏差，因?yàn)榈湫偷臋C(jī)器學(xué)習(xí)程序是試圖最大化整個(gè)訓(xùn)練數(shù)據(jù)的整體預(yù)測(cè)精度，因此解決方案是研究偏差的傳播和放大方式。

幾何捕獲語(yǔ)義

Bolukbasi 等人在論文「Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings」（https://arxiv.org/pdf/1607.06520.pdf）中，使用單詞配對(duì)來(lái)檢查偏差。例如，考慮這個(gè)問(wèn)題，男人對(duì)應(yīng)王，那么女人對(duì)應(yīng)什么？任何五歲的孩子都可以回答這個(gè)問(wèn)題，男人是王，那么女人就是女王。研究人員使用 Google 新聞?wù)Z料庫(kù)的 Word2Vec 模型回答了單詞配對(duì)問(wèn)題。每個(gè)單詞都映射到高維空間中的一個(gè)點(diǎn)。單詞之間的關(guān)系由連接這些單詞的向量表示。

單詞嵌入高維空間的二維投影，其中連接女人與女王的向量

與連接男人與王的向量的長(zhǎng)度和方向相同

谷歌新聞?wù)Z料庫(kù)很龐大，其中許多文章的作者都是專業(yè)記者，因此我們理想的期望是使用這些數(shù)據(jù)訓(xùn)練的模型沒(méi)有偏差。然而經(jīng)過(guò)片刻的反思，我們意識(shí)到這個(gè)模型可能會(huì)反映社會(huì)的偏差，因?yàn)樗吘故菍?duì)我們社會(huì)產(chǎn)生的數(shù)據(jù)進(jìn)行的訓(xùn)練，這正是我們接下來(lái)討論的。

讓我們來(lái)看看另一個(gè)詞配對(duì)：「他」對(duì)應(yīng)的是「兄弟」，那「她」對(duì)應(yīng)著的是什么？同樣，任何五歲的孩子都可以回答說(shuō)「他」對(duì)應(yīng)「兄弟」，那么「她」對(duì)應(yīng)「姐妹」。我們有一個(gè)良好的開端，但正如你在下圖中看到的那樣，事情開始急速轉(zhuǎn)折。一些單詞配對(duì)表現(xiàn)出偏差（「他」對(duì)應(yīng)的是「醫(yī)生」，那「她」則對(duì)應(yīng)「護(hù)士」；「他」對(duì)應(yīng)的是「計(jì)算機(jī)程序員」，那「她」則對(duì)應(yīng)「家庭主婦」），另外有一些更是奇怪得徹頭徹尾（「她」對(duì)應(yīng)著「懷孕」，而「他」竟然對(duì)應(yīng)著「腎結(jié)石」）。

研究人員發(fā)現(xiàn)，通過(guò)消除性別刻板印象，例如接待員和女性之間的聯(lián)系，同時(shí)保留所期望的聯(lián)系，比如女王和女性之間的關(guān)聯(lián)，可以減少性別偏差。為了做到這一點(diǎn)，他們根據(jù)定義區(qū)分了與性別相關(guān)的性別特定詞，如兄弟，姐妹，商人和女商人，以及其余的性別中性詞。在幾何學(xué)上，他們確定了兩個(gè)正交維度，即性別特定詞與性別中性詞間的差別。他們的消除偏差算法通過(guò)折疊性別中立的方向去除性別中性詞和性別的關(guān)聯(lián)。谷歌，推特，臉書，微軟和其他公司都在使用這種消除方式。

在沒(méi)有人群統(tǒng)計(jì)的情況下實(shí)現(xiàn)公平

Hashimoto 等人在論文「Fairness without demographics in repeated loss minimization」（https://arxiv.org/pdf/1806.08010.pdf）中想搞清楚是否即使我們沒(méi)有人群統(tǒng)計(jì)信息也有可能開發(fā)公平的系統(tǒng)。其主要問(wèn)題是少數(shù)群體在最小化平均訓(xùn)練損失方面的代表性較低。由于成本或隱私原因，分組標(biāo)簽可能不可用，或者受保護(hù)的群體可能無(wú)法被識(shí)別或被知道。當(dāng)前的方法，即經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，會(huì)隨著時(shí)間的推移進(jìn)一步縮小輸入數(shù)據(jù)中的少數(shù)群體，而使問(wèn)題變得更糟。這些研究人員的目標(biāo)是即使在沒(méi)有人口統(tǒng)計(jì)標(biāo)簽的情況下，保護(hù)所有群體，甚至是少數(shù)群體。所以他們的解決方案是一種基于「分布式穩(wěn)健優(yōu)化」的方法，可以最大限度地減少所有群體的損失。

分布式穩(wěn)健優(yōu)化的目的是控制所有組的最壞情況風(fēng)險(xiǎn)。直觀地說(shuō)，這種方法是加大高損失樣本的比重。相對(duì)于整個(gè)樣本而言，加大高損失的樣本比重能對(duì)具有較少高損失樣本的模型做相應(yīng)的調(diào)整，使得某些分組就不再有不成比例的高誤差了。即少數(shù)群體相關(guān)的數(shù)據(jù)點(diǎn)將默認(rèn)為遭受高損失的數(shù)據(jù)點(diǎn)，因此這種方法可以幫助避免這種情況。

確保安全的自治系統(tǒng)

機(jī)器人，無(wú)人機(jī)和自動(dòng)駕駛車輛需要算法來(lái)進(jìn)行安全學(xué)習(xí)、規(guī)劃和操控。當(dāng)系統(tǒng)探索周圍環(huán)境時(shí)，他們必須處理它們的行為所造成的結(jié)果、動(dòng)態(tài)環(huán)境和未知人類交互所存在的不確定性。在以下兩個(gè)例子中，研究人員將自主機(jī)器人和人類建模為一個(gè)系統(tǒng)。

人機(jī)交互的數(shù)據(jù)驅(qū)動(dòng)概率建模

Marco Pavone 教授的研究（論文：「Multimodal Probabilistic Model-Based Planning for Human-Robot Interaction」，https://arxiv.org/pdf/1710.09483.pdf），旨在開發(fā)一個(gè)決策和控制堆棧，用于在有多種不同行動(dòng)方案的環(huán)境中進(jìn)行安全的人機(jī)交互。在這案例中，研究人員考慮在進(jìn)出高速公路的匝道上進(jìn)行交織區(qū)交通流測(cè)試。他們的方法是首先從車輛交互樣本的數(shù)據(jù)集中學(xué)習(xí)未來(lái)人類行為的多模態(tài)概率分布，然后通過(guò)從人類對(duì)指定機(jī)器人動(dòng)作序列的回應(yīng)中進(jìn)行大規(guī)模并行采樣來(lái)構(gòu)建實(shí)時(shí)的機(jī)器人策略。該框架不對(duì)人類動(dòng)機(jī)做出任何假設(shè)，這使得它可以對(duì)各種人類駕駛行為進(jìn)行建模。

值得注意的是，該模型包括高級(jí)別隨機(jī)決策和低級(jí)別安全保護(hù)控制?？紤]到人類有時(shí)可能會(huì)無(wú)視機(jī)器人預(yù)測(cè)，該框架增加了一個(gè)低級(jí)別的跟蹤控制器，當(dāng)安全受到威脅時(shí)，該控制器將隨機(jī)規(guī)劃者所需軌跡轉(zhuǎn)化為安全保護(hù)控制模式。

安全學(xué)習(xí)人的內(nèi)在狀態(tài)

Dorsa Sadigh （相關(guān)工作論文：「Planning for cars that coordinate with people: leveraging effects on human actions for planning and active information gathering over human internal state」，http://iliad.stanford.edu/pdfs/publications/sadigh2018planning.pdf）和 Mykel Kochenderfer 正在研究通過(guò)訓(xùn)練自動(dòng)駕駛汽車來(lái)了解人類駕駛員的內(nèi)在狀態(tài)。他們將自主車輛和人類之間的相互作用建模為動(dòng)力系統(tǒng)來(lái)實(shí)現(xiàn)這一點(diǎn)。當(dāng)然，這項(xiàng)研究中，自動(dòng)駕駛汽車的動(dòng)作采用直接控制的方式，但這些動(dòng)作會(huì)影響人類的行為，因此也可以間接控制人類的行為。

想象一下，你正試圖在擁擠的高速公路上變道。在觀察其他駕駛員的反應(yīng)時(shí)，你可能會(huì)從當(dāng)前車道緩慢進(jìn)入新車道。如果另一個(gè)駕駛員減速并打開一個(gè)間隙，那么你繼續(xù)換道，但如果另一個(gè)駕駛員加速并阻擋你，那么你將返回你的車道并稍后再試。曾經(jīng)常用的方法大體是通過(guò)讓機(jī)器人最大化其自身獎(jiǎng)勵(lì)函數(shù)，但現(xiàn)在這個(gè)獎(jiǎng)勵(lì)函數(shù)可以直接取決于人類做出的響應(yīng)。由于司機(jī)對(duì)其他司機(jī)的行為做出回應(yīng)，我們有機(jī)會(huì)進(jìn)行積極的信息收集。

未來(lái)

在不久的將來(lái)，我們將享受安全可靠的人工智能系統(tǒng)，這些系統(tǒng)具有可驗(yàn)證性、可審計(jì)性、可解釋性、無(wú)偏差性和魯棒性。正如斯坦福大學(xué)人工智能實(shí)驗(yàn)室以及其他實(shí)驗(yàn)室的研究正在提供創(chuàng)新的技術(shù)解決方案，使得這些美好的期愿成為可能。

但光靠技術(shù)解決方案還不夠，成功還需要對(duì)這些解決方案謹(jǐn)慎的實(shí)施，并引入社會(huì)意識(shí)，以確定我們希望在這些系統(tǒng)中加入哪些參數(shù)。最近，我們看到以人為本的人工智能方法的興起，考慮了人為因素和社會(huì)影響，這讓我們看到：即使對(duì)于文化迥異的用戶和各種意外情況，這些方法都將賦予人工智能系統(tǒng)以安全、可靠和合理的工作方式！