對抗樣本是如何在不同的媒介上發(fā)揮作用的,為什么保護系統(tǒng)很難對抗它們?

一般來說，對抗樣本（adversarial examples）是機器學習模型的輸入，攻擊者故意設(shè)計它們以引起模型出錯;它們就像是機器的視覺錯覺。這篇文章中，將展示對抗樣本是如何在不同的媒介上發(fā)揮作用的，并將討論為什么保護系統(tǒng)很難對抗它們。

在OpenAI中，我們認為對抗樣本是安全工作的一個很好的方面。因為它們代表了人工智能安全中的一個具體問題，而它們可以在短期內(nèi)得以解決。而且由于修復(fù)它們非常困難，需要進行認真的研究工作（盡管我們需要探索機器學習安全的許多方面，以實現(xiàn)我們構(gòu)建安全、廣泛分布的人工智能的目標）。

想要了解對抗樣本看起來是什么樣的，請參考《解釋和利用對抗樣本》（Explaining and Harnessing Adversarial Examples）中的闡釋：從一張熊貓的圖像開始，攻擊者添加一個小干擾，且該小干擾被計算出來，使圖像被認為是一個具有高置信度的長臂猿。

覆蓋在典型圖像上的對抗輸入會導(dǎo)致分類器將熊貓誤歸類為長臂猿

這種方法相當具有魯棒性;最近的研究表明，對抗樣本可以在標準紙張上打印出來，然后用標準智能手機拍攝，而且用的仍然是傻瓜系統(tǒng)。

對抗樣本可以在標準紙張上打印出來并用標準分辨率的智能手機拍照，并且在這種情況下仍然會導(dǎo)致分類器將“洗衣機”標記為“安全”

對抗樣本是有潛在危險性的。例如，攻擊者可以通過這種方法攻擊自動駕駛汽車：使用貼紙或涂料創(chuàng)建一個對抗性的停車標志，讓車輛將其解釋為“屈服”或其他標志，就像《使用對抗樣本對深度學習系統(tǒng)進行實用黑盒攻擊》（Practical Black-Box Attacks against Deep Learning Systems using Adversarial Examples）中所述的那樣。

加州大學伯克利分校、OpenAI和賓夕法尼亞州立大學的新研究《對神經(jīng)網(wǎng)絡(luò)策略的對抗性攻擊》（Adversarial Attacks on Neural Network Policies）以及內(nèi)華達大學雷諾分校的研究《深度強化學習對策略誘導(dǎo)攻擊的脆弱性》（Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks）表明，強化學習智能體也可以被對抗樣本操縱。研究表明，諸如DQN、TRPO和A3C等這些廣泛使用的RL算法，很容易受到對抗輸入的影響。即使是在所存在的干擾微小到人類無法察覺，這些也會導(dǎo)致性能下降，使智能體在應(yīng)該將乒乓球拍向上移動的時候?qū)⑺蛳乱苿恿?，或者使其在Seaquest中發(fā)現(xiàn)對手的能力受到了干擾。

如果你想嘗試打破你自己的模型，你可以使用cleverhans，這是一個由Ian Goodfellow和Nicolas Papernot共同開發(fā)的開源庫，用來測試你的AI對對抗樣本的漏洞。

對抗樣本讓我們在人工智能安全方面有了一些動力

當我們思考人工智能安全的研究時，我們通常會想到這個領(lǐng)域中最困難的一些問題——我們?nèi)绾未_保那些比人類聰明得多的復(fù)雜的強化學習智能體能夠以它們的設(shè)計者所期望的方式行事？

對抗樣本告訴我們，對于監(jiān)督和強化學習而言，即使是簡單的現(xiàn)代算法，也已經(jīng)可能以并非我們所想的令人驚訝的方式表現(xiàn)出來。

防御對抗樣本所做出過的嘗試

如權(quán)值衰減（weight decay）和dropout等這種使機器學習模型更具有魯棒性的傳統(tǒng)技術(shù)，通常不能為對抗樣本提供實際的防御。到目前為止，只有兩種方法提供了重要的防御。

對抗性訓練：這是一種暴力破解（brute force）的解決方案。其中，我們只是簡單地生成很多對抗樣本，并明確訓練模型不會被它們中的任何一個愚弄。對抗性訓練的開源實現(xiàn)可以在cleverhans庫中找到，下面的教程對其用法在進行了說明。

防御性精煉：這是一種策略。我們訓練模型來輸出不同類的概率，而不是將哪個類輸出的艱難決策。概率由早期的模型提供，該模型使用硬分類標簽在相同的任務(wù)上進行訓練。這就創(chuàng)建了一個模型，其表面在攻擊者通常會試圖開拓的方向上是平滑的，從而使它們難以發(fā)現(xiàn)導(dǎo)致錯誤分類的對抗輸入調(diào)整（精煉（Distillation）最初是在《神經(jīng)網(wǎng)絡(luò)中知識的精煉》（Distilling the Knowledge in a Neural Network）中作為模型壓縮的一種技術(shù)而被引入的，在這種技術(shù)中，一個小模型被訓練以模仿一個大模型，以便節(jié)省計算量）。

然而，即使是這些專門的算法，也可能被擁有了更多計算火力的攻擊者輕易破解。

失敗的防御：“梯度掩碼”（gradient masking）

舉一個簡單防御失敗的例子，讓我們考慮一下為什么一種叫做“梯度掩碼”的技術(shù)不起作用。

“梯度掩碼”是一個在《使用對抗樣本對深度學習系統(tǒng)進行實用黑盒攻擊》（Practical Black-Box Attacks against Deep Learning Systems using Adversarial Examples）中所引入的術(shù)語，用于描述一整套失敗的防御方法——它們試圖阻止攻擊者訪問一個有用的梯度。

大多數(shù)對抗樣本構(gòu)造技術(shù)使用模型的梯度來進行攻擊。換句話說，它們看一張飛機的圖片，它們對圖片空間進行測試，以發(fā)現(xiàn)哪個方向使“貓”類的概率增加，然后它們給予這個方向一點推動力（換句話說，它們擾亂輸入）。這張新的、修改后的圖像被錯誤地認為是一只貓。

但是如果沒有梯度，如果對圖像進行一個無窮小的修改會導(dǎo)致模型的輸出沒有變化，那該怎么辦？這似乎提供了一些防御，因為攻擊者不知道是向哪個方向“助推”圖像。

我們可以很容易地想象一些非常簡單的方法來擺脫梯度。例如，大多數(shù)圖像分類模型可以在兩種模式下運行：一種模式是只輸出最可能的類的標識，另一種模式是輸出概率。如果模型的輸出是“99.9%的可能是飛機，0.1%的可能是貓”，那么對輸入的微小改變會給輸出帶來很小的變化，而且梯度告訴我們哪個變化會增加“貓”類的概率。如果我們在輸出只是“飛機”的模式下運行模型，那么對輸入的微小改變就完全不會改變輸出，而且梯度不會告訴我們?nèi)魏螙|西。

讓我們進行一個思考實驗，看看我們在“最可能的類”模式下，而不是“概率模式”下，能夠以怎樣的程度來保護我們的模型抵抗對抗樣本。攻擊者不再知道去哪里尋找那些將被歸類為貓的輸入，所以我們可能有了一些防御。不幸的是，之前被歸類為貓的每張圖像現(xiàn)在仍然被歸類為貓。如果攻擊者能夠猜測哪些點是對抗樣本，那么這些點仍然會被錯誤分類。我們還沒有使這個模型更具魯棒性;我們剛剛給了攻擊者更少的線索來找出模型防御漏洞的位置。

更不幸的是，事實證明，攻擊者有一個非常好的策略來猜測防守漏洞的位置。攻擊者可以訓練出自己的一種具有梯度的平滑模型來為它們的模型提供對抗樣本，然后將這些對抗樣本配置到我們的非平滑模型上。很多時候，我們的模型也會對這些樣本進行錯誤的分類。最后，我們的思考實驗表明，隱藏梯度并沒有給我們帶來任何幫助。

執(zhí)行梯度掩碼的防御策略通常會導(dǎo)致一個模型在特定的方向和訓練點的附近非常平滑，這使得攻擊者很難找到指示好候選方向的梯度，從而以損害模型的方式干擾輸入。然而，攻擊者可以訓練一種替代模型：一種通過觀察被防御模型分配給攻擊者精心選擇的輸入的標簽來模仿防御模型的副本。

在“黑箱攻擊”論文中引入了執(zhí)行這種模型提取攻擊的過程。然后，攻擊者還可以使用替代模型的梯度來找到被防御模型錯誤分類的對抗樣本。在上圖中，對從《機器學習中的安全和隱私科學》（Towards the Science of Security and Privacy in Machine Learning）中找到的梯度掩碼的討論再現(xiàn)，我們用一維的ML問題來說明這種攻擊策略。對于更高維度的問題，梯度掩碼現(xiàn)象將會加劇，但難以描述。

我們發(fā)現(xiàn)，對抗性訓練和防御性精煉都意外地執(zhí)行了一種梯度掩碼。這兩種算法都沒有明確地被設(shè)計來執(zhí)行梯度掩碼，但是當算法被訓練來保護自己并且沒有給出具體的指令時，梯度掩碼顯然是一種機器學習算法可以相對容易地發(fā)明出的防御措施。如果我們將對抗樣本從一個模型遷移到另一個用對抗性訓練或防御性精煉訓練過的模型，攻擊通常也會成功，即使對第二個模型直接的攻擊失敗了。這表明，這兩種訓練技術(shù)都會做更多的工作來使模型平滑并消除梯度，而不是確保它能夠正確地對更多的點進行分類。

為什么很難防御對抗樣本

難以防御對抗樣本，因為難以構(gòu)建一個對抗樣本制作過程的理論模型。對于包括神經(jīng)網(wǎng)絡(luò)在內(nèi)的許多ML模型來說，對抗樣本是對非線性和非凸性的優(yōu)化問題的解決方案。因為我們沒有很好的理論工具來描述這些復(fù)雜的優(yōu)化問題的解決方案，所以很難做出任何理論上的論證來證明一個防御系統(tǒng)會排除一系列對抗樣本。

難以防御對抗樣本，還因為它們要求機器學習模型為每一個可能的輸入產(chǎn)生良好的輸出。大多數(shù)情況下，機器學習模型運行得很好，但所能處理的只是它們可能遇到的所有可能輸入中的很小一部分。

我們迄今為止測試的每一種策略都失敗了，因為它不是自適應(yīng)的：它可能會阻止一種攻擊，但是留給攻擊者另一個漏洞，而攻擊者知道此次所使用的防御。設(shè)計一種可以防御強大的、自適應(yīng)的攻擊者的防御系統(tǒng)是一個重要的研究領(lǐng)域。

結(jié)論

對抗樣本表明，許多現(xiàn)代機器學習算法可以以多種令人驚訝的方式被打破。機器學習的這些失敗表明，即使是簡單的算法也能與其設(shè)計者的意圖截然不同。我們鼓勵機器學習研究人員參與進來并設(shè)計防范對抗樣本的方法，以縮小設(shè)計師意圖和算法行為之間的差距。