對抗機器學習成為機器學習研究人員日益關注的領域

人工智能安全專家Dawn Song警告稱，“對抗性機器學習”可用于逆向工程系統(tǒng) – 包括用于防御的系統(tǒng)。

這是來自加州大學伯克利分校的教授Dawn Song的警告，他專門研究人工智能和機器學習所涉及的安全風險。

在麻省理工學院技術(shù)評論團在舊金山舉辦的EmTech Digital演講中，Song警告說，探測和操縱機器學習系統(tǒng)的新技術(shù) – 在該領域被稱為“對抗機器學習”方法 – 可能會給任何想要的人造成大問題。在商業(yè)中利用AI的力量。

宋說，對抗機器學習可以用來攻擊任何基于該技術(shù)的系統(tǒng)。

“這是一個大問題，”她告訴觀眾。 “我們需要齊心協(xié)力解決問題?！?/p>

對抗性機器學習涉及實驗性地將輸入饋送到算法中以揭示其已經(jīng)訓練的信息，或者以導致系統(tǒng)行為不當?shù)姆绞脚で斎?。例如，通過將大量圖像輸入到計算機視覺算法中，可以對其功能進行逆向工程并確保某些類型的輸出，包括不正確的輸出。

宋提出了她的研究小組探討的幾個對抗學習技巧的例子。

與谷歌合作開展的一個項目涉及探測機器學習算法，這些算法經(jīng)過培訓，可以從電子郵件消息中生成自動響應（在本例中為安然電子郵件數(shù)據(jù)集）。努力表明，通過創(chuàng)建正確的消息，可以讓機器模型吐出敏感數(shù)據(jù)，如信用卡號。谷歌使用這些調(diào)查結(jié)果阻止Smart Compose（一種在Gmail中自動生成文本的工具）被利用。

另一個項目涉及用一些看似無害的貼紙修改道路標志，以欺騙許多車輛中使用的計算機視覺系統(tǒng)。在視頻演示中，Song展示了汽車如何被欺騙，以為停車標志實際上說速度限制是每小時45英里。對于依賴于此類信息的自動駕駛系統(tǒng)而言，這可能是一個巨大的問題。

對抗機器學習是機器學習研究人員日益關注的領域。在過去幾年中，其他研究小組已經(jīng)展示了如何探索和利用在線機器學習API來設計欺騙它們或揭示敏感信息的方法。

不出所料，對抗性機器學習對國防界也非常感興趣。隨著越來越多的軍事系統(tǒng) – 包括傳感和武器系統(tǒng) – 利用機器學習，這些技術(shù)在防御性和進攻性方面都有巨大的潛力。

今年，五角大樓的研究機構(gòu)DARPA啟動了一項名為“保證人工智能反對欺騙行為（GARD）”的重大項目，旨在研究對抗機器學習。 GARD項目主任Hava Siegelmann最近告訴麻省理工學院技術(shù)評論，該項目的目標是開發(fā)面對各種對抗性攻擊時強大的AI模型，而不是簡單地能夠抵御特定的攻擊。