Google AI定義機(jī)器學(xué)習(xí) DNNs實(shí)現(xiàn)實(shí)時(shí)運(yùn)行

在YouOnly PropagateOnce（YOPO）的算法中，研究人員開(kāi)發(fā)了出一種加速對(duì)抗訓(xùn)練的有效策略。他們將神經(jīng)網(wǎng)絡(luò)的對(duì)抗訓(xùn)練重新組織為差異化游戲，并為其開(kāi)發(fā)了龐特里亞金（Pontryagin）的極大原則。

通過(guò)最大原理，他們發(fā)現(xiàn)對(duì)抗層只與第一層的權(quán)重相結(jié)合，這有助于將對(duì)抗層更新從反向傳播梯度計(jì)算中分離出來(lái)。

這樣做，YOPO避免了訪問(wèn)梯度所需的次數(shù)，這顯著減少了計(jì)算時(shí)間。為了證明其有效性，研究人員在MNIST和CIFAR10上進(jìn)行了實(shí)驗(yàn)，并發(fā)現(xiàn)使用YOPO訓(xùn)練的模型與PGD對(duì)抗訓(xùn)練的模型在清潔數(shù)據(jù)和對(duì)抗擾動(dòng)數(shù)據(jù)上具有相似的表現(xiàn)，但YOPO訓(xùn)練的模型具有更優(yōu)秀的性能和較低的計(jì)算成本。

YOPO讓人聯(lián)想到Y(jié)OLO，但與YOLO不同的是，YOPO算法是解決龐特里亞金極大原理的一種方法。龐特里亞金的極大原理具有很大的潛力，因?yàn)樗梢詥l(fā)各種算法的設(shè)計(jì)，從而分解對(duì)抗更新和數(shù)據(jù)反向傳播。

我們希望YOPO能夠?yàn)閺?qiáng)大的ML應(yīng)用程序修復(fù)對(duì)抗性示例。

如果你發(fā)現(xiàn)了對(duì)抗性示例，恭喜你，從現(xiàn)在開(kāi)始它們不再是bug

與傳統(tǒng)觀點(diǎn)相反，一群學(xué)者最近發(fā)表了一種關(guān)于對(duì)抗性示例現(xiàn)象的新觀點(diǎn)。根據(jù)他們的說(shuō)法，對(duì)抗性的示例自然地來(lái)自于標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)數(shù)據(jù)集中的高度預(yù)測(cè)但非魯棒的特征。

他們證明了對(duì)抗性的示例可以直接歸因于非魯棒特征的存在。非魯棒特征意為從數(shù)據(jù)分布的模式中得到的具有高度預(yù)測(cè)性的特征，但這對(duì)人類來(lái)說(shuō)是脆弱和難以理解的。

他們將對(duì)抗脆弱性作為主導(dǎo)監(jiān)督學(xué)習(xí)范式的主要結(jié)果，這表明：對(duì)抗脆弱性是我們模型對(duì)數(shù)據(jù)中良好概括特征的敏感性的直接結(jié)果。

他們通過(guò)明確地解釋標(biāo)準(zhǔn)數(shù)據(jù)集中魯棒的和非魯棒的特征，為他們的假設(shè)提供了支持。此外，他們表明單獨(dú)的非強(qiáng)大功能對(duì)于良好的推廣是令人滿意的。

本研究論文中的研究結(jié)果似乎得出結(jié)論，只有在采用魯棒訓(xùn)練時(shí)，分類器才能學(xué)習(xí)完全準(zhǔn)確且完全穩(wěn)健的決策邊界。因此，鑒于這些元素存在于真實(shí)世界的數(shù)據(jù)集中，分類器利用在人類選擇的相似概念下恰好是非魯棒的高度預(yù)測(cè)特征應(yīng)該不足為奇。

此外，從可解釋性的角度來(lái)看，只要模型依賴于非魯棒特征，就不可能期望模型解釋既對(duì)人類有意義又完全依據(jù)模型。為了獲得可解釋和強(qiáng)大的模型，需要人類進(jìn)行先驗(yàn)后，再進(jìn)行模型訓(xùn)練。

下一代MobileNetV3定義

2017年，GoogleAI宣布發(fā)布了MobileNets，這種計(jì)算機(jī)視覺(jué)模型旨在于考慮設(shè)備或嵌入式應(yīng)用程序資源受限的情況下，有效并最大限度地提高準(zhǔn)確性?，F(xiàn)在，研究人員發(fā)布了MobileNetV3，它代表了基于互補(bǔ)搜索技術(shù)和新架構(gòu)設(shè)計(jì)相結(jié)合的下一代MobileNets。

MobileNetV3通過(guò)結(jié)合使用NetAdapt算法補(bǔ)充的硬件感知網(wǎng)絡(luò)架構(gòu)搜索（NAS）調(diào)整到移動(dòng)電話CPU，然后通過(guò)尖端架構(gòu)改進(jìn)進(jìn)行性能提升。

在此過(guò)程之后，研究人員創(chuàng)建了兩個(gè)新的MobileNet模型：MobileNetV3-Large和MobileNetV3-Small，分別針對(duì)高資源和低資源的使用情況。然后對(duì)模型進(jìn)行調(diào)整并應(yīng)用于對(duì)象檢測(cè)和語(yǔ)義分割任務(wù)。

MobileNetV3的大型和小型模型將使研究人員能夠繼續(xù)進(jìn)步，從而提供下一代高度精確的網(wǎng)絡(luò)模型，這將促進(jìn)設(shè)備端計(jì)算機(jī)視覺(jué)的進(jìn)步。

半監(jiān)督學(xué)習(xí)的整體性方案

半監(jiān)督式學(xué)習(xí)已經(jīng)證明，它是利用未標(biāo)記的數(shù)據(jù)來(lái)減輕機(jī)器學(xué)習(xí)對(duì)大型標(biāo)記數(shù)據(jù)集依賴的一種強(qiáng)有力的方法。谷歌的一組研究人員已經(jīng)通過(guò)對(duì)目前領(lǐng)先的半監(jiān)督學(xué)習(xí)方法的整合而提出了一種新的算法,即MixMatch.新算法的工作原理是通過(guò)猜測(cè)新增未標(biāo)記數(shù)據(jù)的低熵標(biāo)簽并通過(guò)MixUp混合已標(biāo)記和未標(biāo)記數(shù)據(jù).

評(píng)估顯示，MixMatch在許多數(shù)據(jù)集和標(biāo)記的數(shù)據(jù)量等方面極大地顯示了其優(yōu)越性.例如，在有250個(gè)標(biāo)簽的CIFAR-10,STL-10的系數(shù)為2的情況下上，錯(cuò)誤率從38%下降到了11%

MixMatch展現(xiàn)出其相對(duì)于傳統(tǒng)方法的優(yōu)越性.這一研究更有價(jià)值的一點(diǎn)在于對(duì)半監(jiān)督學(xué)習(xí)文獻(xiàn)和相關(guān)混合方法研究的進(jìn)一步整合,這講促進(jìn)對(duì)大幅提高算法效率因素的探索。

目前,MixMatch可以幫助我們實(shí)現(xiàn)更好的差別隱私交易中的準(zhǔn)確性和私密性。

針對(duì)神經(jīng)網(wǎng)絡(luò)的對(duì)抗式再編程

在近期的研究中,谷歌研究員嘗試了一個(gè)具有挑戰(zhàn)性的目標(biāo)：在不提供攻擊者對(duì)既定目標(biāo)期望輸出的條件下，重新編程來(lái)模擬攻擊者選擇的任務(wù)。

研究人員發(fā)現(xiàn)，經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可以被重新編程來(lái)分類排列的圖像，這些圖像不保留任何原始的空間結(jié)構(gòu)，這表明跨領(lǐng)域重新編程是可能的。他們還發(fā)現(xiàn)，經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)比隨機(jī)系統(tǒng)更容易受到對(duì)抗式重新編程的影響，即使在數(shù)據(jù)結(jié)構(gòu)與主要任務(wù)中的數(shù)據(jù)結(jié)構(gòu)差異很大的情況下，重新編程仍然是成功的。

這就是對(duì)圖像領(lǐng)域中的分類任務(wù)進(jìn)行對(duì)抗式重新編程的演示。類似的攻擊在音頻、視頻、文本或其他方面能成功嗎？以RNNs的對(duì)抗式重新編程為例——攻擊者只需要在RNN中找到用于執(zhí)行簡(jiǎn)單操作的輸入，就可以重新編程模型來(lái)執(zhí)行任何計(jì)算任務(wù)。

如果一個(gè)特別設(shè)計(jì)的輸入可以重構(gòu)整個(gè)機(jī)器學(xué)習(xí)系統(tǒng)，攻擊者將會(huì)達(dá)到難以預(yù)料的可怕效果。例如，攻擊者很容易竊取計(jì)算資源或執(zhí)行違反云服務(wù)編程的任務(wù)。所有這一切都表明了對(duì)抗式重新編程可能給人工智能系統(tǒng)帶來(lái)的潛在威脅。

隨著人工智能的不斷發(fā)展，認(rèn)識(shí)到技術(shù)的進(jìn)步可能帶來(lái)的潛在挑戰(zhàn)，并努力找到減輕或抵御這些挑戰(zhàn)的可能方法，對(duì)人工智能的未來(lái)十分重要。