智能體如何應(yīng)對(duì)訓(xùn)練中故意碰瓷兒的“弱”對(duì)手呢？

人們通常會(huì)派出最強(qiáng)大的選手和場景訓(xùn)練人工智能，但是，智能體如何應(yīng)對(duì)訓(xùn)練中故意碰瓷兒的“弱”對(duì)手呢？

來看看下邊的兩個(gè)場景：兩個(gè)AI智能體正在“訓(xùn)練場“進(jìn)行一場激烈的足球賽，一個(gè)守門、一個(gè)射門。當(dāng)守門員忽然自己摔倒，攻方?jīng)]有選擇乘勝追擊，也忽然不知所措了起來。

在相撲的規(guī)則下也一樣，當(dāng)其中一個(gè)隊(duì)員開始不按套路出牌時(shí)，另一個(gè)對(duì)手也亂作一團(tuán)，雙方立刻開始毫無規(guī)則扭打在一起。

這樣“人工智障”的場景可不是隨意配置的游戲，而是一項(xiàng)對(duì)AI對(duì)抗訓(xùn)練的研究。

我們知道，通常情況下，智能體都是通過相互對(duì)抗來訓(xùn)練的，無論是下圍棋的阿法狗還是玩星際爭霸的AlphaStar，都是通過海量的對(duì)局來訓(xùn)練自己的模型，從而探索出獲勝之道。

但是試想一下，如果給阿法狗的訓(xùn)練數(shù)據(jù)都是圍棋小白亂下的對(duì)局，給AlphaStar提供的是小學(xué)生局，結(jié)果會(huì)是如何？

近期，來自伯克利的研究人員就進(jìn)行了這樣的實(shí)驗(yàn)。紅色機(jī)器人與已經(jīng)是專家級(jí)別的藍(lán)色機(jī)器人進(jìn)行對(duì)抗訓(xùn)練，紅色機(jī)器人采取一定的對(duì)抗策略攻擊藍(lán)色機(jī)器人進(jìn)行的深度學(xué)習(xí)。這項(xiàng)研究的論文作者也在NIPS大會(huì)上對(duì)該研究進(jìn)行了展示。

論文鏈接：

https://arxiv.org/pdf/1905.10615.pdf

在實(shí)驗(yàn)中，紅色機(jī)器人為了不讓藍(lán)色機(jī)器人繼續(xù)從對(duì)抗中學(xué)習(xí)，沒有按照應(yīng)有的方式玩游戲，而是開始“亂舞”起來，結(jié)果，藍(lán)色機(jī)器人開始玩得很糟糕，像喝醉了的海盜一樣來回?fù)u晃，輸?shù)舻挠螒驍?shù)量是正常情況下的兩倍。

研究發(fā)現(xiàn)，在采取對(duì)抗性政策的對(duì)局中，獲勝不是努力成為一般意義上的強(qiáng)者，而是采取迷惑對(duì)手的行動(dòng)。研究人員通過對(duì)對(duì)手行為的定性觀察來驗(yàn)證這一點(diǎn)，并發(fā)現(xiàn)當(dāng)被欺騙的AI在對(duì)對(duì)手視而不見時(shí)，其表現(xiàn)會(huì)有所改善。

我們都知道，讓人工智能變得更聰明的一個(gè)方法是讓它從環(huán)境中學(xué)習(xí)，例如，未來的自動(dòng)駕駛可能比人類更善于識(shí)別街道標(biāo)志和避開行人，因?yàn)樗鼈兛梢酝ㄟ^海量的視頻獲得更多的經(jīng)驗(yàn)。

但是如果有人利用這一方式進(jìn)行研究中所示的“對(duì)抗性攻擊” ——通過巧妙而精確地修改圖像，那么你就可以愚弄人工智能，讓它對(duì)圖像產(chǎn)生錯(cuò)誤的理解。例如，在一個(gè)停車標(biāo)志上貼上幾個(gè)貼紙可能被視為限速標(biāo)志，同時(shí)這項(xiàng)新的研究也表明，人工智能不僅會(huì)被愚弄，看到不該看到的東西，還會(huì)以不該看到的方式行事。

這給基于深度學(xué)習(xí)的人工智能應(yīng)用敲響了一個(gè)警鐘，這種對(duì)抗性的攻擊可能會(huì)給自動(dòng)駕駛、金融交易或產(chǎn)品推薦系統(tǒng)帶來現(xiàn)實(shí)問題。

論文指出，在這些安全關(guān)鍵型的系統(tǒng)中，像這樣的攻擊最受關(guān)注，標(biāo)準(zhǔn)做法是驗(yàn)證模型，然后凍結(jié)它，以確保部署的模型不會(huì)因再訓(xùn)練而產(chǎn)生任何新問題。

因此，這項(xiàng)研究中的攻擊行為也真實(shí)地反映了在現(xiàn)實(shí)環(huán)境中，例如在自動(dòng)駕駛車輛中看到的深度學(xué)習(xí)訓(xùn)練策略，此外，即使被攻擊目標(biāo)使用持續(xù)學(xué)習(xí)，也會(huì)有針對(duì)固定攻擊目標(biāo)進(jìn)行訓(xùn)練的策略，攻擊者可以對(duì)目標(biāo)使用模擬學(xué)習(xí)來生成攻擊模型。

或者，在自動(dòng)駕駛車輛，攻擊者可以通過購買系統(tǒng)的副本并定期在工廠重置它，一旦針對(duì)目標(biāo)訓(xùn)練出了敵對(duì)策略，攻擊者就可以將此策略傳輸?shù)侥繕?biāo)，并利用它直到攻擊成功為止。

研究也對(duì)今后的工作提出了一些方向：深度學(xué)習(xí)策略容易受到攻擊，這突出了有效防御的必要性，因此在系統(tǒng)激活時(shí)可以使用密度模型檢測到可能的對(duì)抗性攻擊，在這種情況下，還可以及時(shí)退回到保守策略。