谷歌的這只AI學會了“打小抄”，還騙過了它的創(chuàng)造者

一篇來自谷歌和斯坦福2017年的研究今天在twitter和reddit上被熱議。

在這個讓人啼笑皆非的研究里，為了完成圖像轉換的任務，CycleGAN在訓練過程中通過人類無法察覺的某種“隱寫術”，騙過了它的創(chuàng)造者，給自己留下了隱秘的“小抄”，然后順利完成了任務。

這個小插曲催生的論文也因此被命名為“CycleGAN, a Master of Steganography”（CycleGAN，一個隱寫術大師），被當年的NeurIPs收錄。

聽到“騙過人類”覺得有點可怕是不是，先別慌，一起來看看這個“小把戲”。

為了加快將衛(wèi)星圖像轉換為谷歌精確的街道地圖，谷歌團隊使用CycleGAN神經(jīng)網(wǎng)絡系統(tǒng)，希望通過大量的訓練，從而使得這個模型能夠盡可能精確、高效的轉換X、Y類型圖片獲得相應結果。

簡單來說，研究者希望通過訓練這個CycleGAN模型，可以實現(xiàn)兩類圖片的轉換：把航拍照變成街道地圖，再把街道地圖變回航拍照。

早期的實驗結果中，這個模型做的還不錯。

雖然很難深入了解神經(jīng)網(wǎng)絡流程的內部工作原理，但團隊可以輕松審核其生成的數(shù)據(jù)。通過一些實驗，他們發(fā)現(xiàn)CycleGAN確實大幅提升了轉化速度。

直到有一天，研究者發(fā)現(xiàn)了奇怪的事情：這個模型自作主張的根據(jù)航拍衛(wèi)星圖片重建了街道地圖。

比如，在創(chuàng)建街道地圖時，屋頂上的天窗被研究者通過某種設置被抹掉了，但通過街道圖轉化為航拍照后，這些天窗又神奇地出現(xiàn)了。

心存疑惑的研究者開始著手檢查這個CycleGAN學到的mapping到底是什么，接著發(fā)現(xiàn)了更多“憑空”出現(xiàn)、根本不可能產(chǎn)生的航拍照。

經(jīng)過一系列檢查，研究者發(fā)現(xiàn)原來是CycleGAN在把航拍照變成地圖的時候，加入了一些人類肉眼不可見的噪音（或者其實可以說是信息），然后從地圖reconstruct航拍照的時候，就通過這些噪音來讀取信息。

就好比，為了應付人類任務，AI在地圖照上面偷偷寫了一點小抄/水印，而為了躲過人類的檢查，只有它自己訓練出來的模型才讀得懂這些小抄/水印。

這和人類研究者想象的任務完成途徑完全不一樣。

可能有人會覺得，只要工作能完成，那么這個辦法也非常聰明。

但值得一提的是，如果一些細節(jié)被巧妙插入視覺數(shù)據(jù)中，人眼不會注意到的數(shù)千個微小顏色變化，但計算機卻可以輕松檢測到。

也就是說，這種方法盡管可以實現(xiàn)目的，但是非常容易被攻擊。一旦有“攻擊者”在一張地圖照里面加一些肉眼不可見的“小抄”，就會“重構”出來一張牛頭不對馬嘴的照片。

通過這種方式，可以將航空地圖編碼成任何街道地圖！計算機在編碼的過程機中不需要關注“真實”的街道地圖，所有重構的航空照片所需的數(shù)據(jù)都可以“人畜無害”地疊加在完全不同的街道地圖上。

研究人員也通過實驗證實了這一點：

上圖（c）中的彩色地圖是計算機系統(tǒng)引入具有細微差別的可視化圖片。 圖片形成了和航空地圖差不多的形狀。如果你不把他放大，并且仔細的觀察，你可能很難發(fā)現(xiàn)這些差別。

這種將數(shù)據(jù)編碼成圖像的做法并不新鮮，這是一門被稱為“隱寫術”的技術，值得一提的是，它已經(jīng)非常成熟、現(xiàn)在被廣泛應用。

現(xiàn)在，似乎計算機也學會了這種隱寫方法，運用此方法機器可以“偷懶”，從而逃避學習、逃避們手頭的任務。

了解一下Cycle GANs所采用的學習方法，出現(xiàn)這一“偷懶”結果似乎也不意外。

Cycle GANs從X到Y的G映射的過程中，生成器不是選取一些隱向量來映射，而是使用圖像的直接轉換量。使用普通的對抗損失函數(shù)來構建一個映射G。利用G，可以從生成的圖像X映射到真實圖像Y。

類似地, 我們也有一個反向的映射, 但這有一定的可能會使我們丟失原始圖像的一些特性。

所以約束性在Cycle GAN的使用中非常重要。

一旦約束條件不完備，模型很容易出現(xiàn)鉆空子的“偷懶”情況。

今天的熱議中，很多人就此得出了“人工智能正越來越聰明”論斷，從而心生恐懼。

大可不必慌張，這一結果正說明機器還不夠聰明，到目前為止，它還不能完成復雜的圖像類型相互轉換等工作。但是，它可以利用人類不善于檢測的弱點欺騙人類。

對計算結果的更嚴格評估可以避免這種情況。

計算機所做的事情，全部來自程序命令，所以你的要求也必須明確具體。不過這個案例給了我們關于解決神經(jīng)網(wǎng)絡的弱點的新的思路，對于計算機來說如果沒有明確禁止它做什么事，它可以自行找到一個從細節(jié)出發(fā)，回饋自我到的一個高效解決既定問題的方式。

這也為提高CycleGAN生成圖像的質量提供了有一種可能的途徑，盡管循環(huán)一致性損失能夠讓神經(jīng)網(wǎng)絡將原圖像的信息編碼映射到生成的圖像中，但是，模型也可以偷偷的通過對抗性學習提高欺騙能力。如果能夠找到阻止算機“打小抄”的方式，這會使圖圖轉換工作得到突破。