IBM研究人員開(kāi)發(fā)了一種將水印嵌入ML模型的技術(shù)，可以識(shí)別被盜模型

編者按：書籍、文章、圖像、視頻……在大眾眼里，創(chuàng)作者對(duì)這些成果都擁有無(wú)可爭(zhēng)議的知識(shí)版權(quán)，為了防止作品被他人盜取、濫用，他們也會(huì)通過(guò)加上水印聲明自己的權(quán)益。那么，同樣是知識(shí)、創(chuàng)意的結(jié)晶，研究人員該如何保護(hù)自己的機(jī)器學(xué)習(xí)模型不被盜用呢？近日，IBM研究人員開(kāi)發(fā)了一種將水印嵌入ML模型的技術(shù)，可以識(shí)別被盜模型。

論文作者：Jialong Zhang和Marc Ph. Stoecklin

作為人工智能服務(wù)的關(guān)鍵組成部分，如今深度學(xué)習(xí)已經(jīng)在模擬人類能力方面取得了巨大成功，如基于這項(xiàng)技術(shù)的計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別和自然語(yǔ)言處理。

然而，光鮮事物背后總有陰影。訓(xùn)練一個(gè)深度學(xué)習(xí)模型通常意味著大量訓(xùn)練數(shù)據(jù)、龐大的計(jì)算資源和擁有人性化專業(yè)知識(shí)的專家學(xué)者。雖然截至目前全球還沒(méi)有出現(xiàn)過(guò)針對(duì)模型的大型訴訟，而且開(kāi)源是社區(qū)一貫以來(lái)的特色，但隨著技術(shù)發(fā)展日益成熟，未來(lái)，盜用模型用以非法牟利等事件的興起是可以預(yù)見(jiàn)的。

更嚴(yán)峻的是，我們不能指望用專利來(lái)保護(hù)自己的機(jī)器學(xué)習(xí)成果。眾所周知，機(jī)器學(xué)是一個(gè)日新月異的領(lǐng)域，全球各地的研究人員每天都能在前人基礎(chǔ)上提出更好的改進(jìn)，一方面，算法和技術(shù)方案數(shù)量正在因此不斷增加，另一方面，這種情況卻為專利所有人界定造成了麻煩。

上月，DeepMind的一份專利單曝光，他們把強(qiáng)化學(xué)習(xí)，RNN，用神經(jīng)網(wǎng)絡(luò)處理序列、生成音頻、生成視頻幀、理解場(chǎng)景等12項(xiàng)成果打包申請(qǐng)專利，引發(fā)學(xué)界恐慌。雖然事后有人辟謠稱這是“防御性專利”，但這個(gè)事件確實(shí)也反映了業(yè)內(nèi)成果的一脈相承。

在這個(gè)背景下，保護(hù)企業(yè)、個(gè)人花大量時(shí)間、精力構(gòu)建的機(jī)器學(xué)習(xí)成果是有意義的。

為DNN模型添加水印

當(dāng)我們往視頻和圖像上添加水印時(shí)，從技術(shù)角度看它們離不開(kāi)兩個(gè)階段：嵌入和檢測(cè)。對(duì)于嵌入，開(kāi)發(fā)者可以在圖像上加上自制的水印標(biāo)記（可見(jiàn)/不可見(jiàn)）；對(duì)于檢測(cè)，如果圖片確實(shí)被盜，開(kāi)發(fā)者應(yīng)該能提取嵌入的水印，以此證明自己的所有權(quán)。

IBM提出的模型保護(hù)方法正是受這種思想啟發(fā)，上圖是為DNN添加水印框架的主要流程。

首先，該框架會(huì)為模型所有者生成定制水印和預(yù)定義標(biāo)簽（?）；其次，生成水印后，它會(huì)將生成的水印嵌入到目標(biāo)DNN中，這是通過(guò)訓(xùn)練實(shí)現(xiàn)的（?）；完成嵌入后，新生成的模型能夠進(jìn)行所有權(quán)驗(yàn)證，一旦發(fā)現(xiàn)模型被盜用，所有者可以把水印作為輸入，檢查它的輸出（?）。

研究人員開(kāi)發(fā)了三種不同的算法來(lái)為神經(jīng)網(wǎng)絡(luò)生成水?。?/p>

將有意義的內(nèi)容與原始訓(xùn)練數(shù)據(jù)一起作為水印嵌入到受保護(hù)的DNN中

將不相關(guān)的數(shù)據(jù)樣本作為水印嵌入到受保護(hù)的DNN中

將噪聲作為水印嵌入受保護(hù)的DNN中

算法一(WMcontent)：第一種算法是對(duì)原數(shù)據(jù)集進(jìn)行加工。他們把訓(xùn)練數(shù)據(jù)中的圖像作為輸入，并在上面加入額外的、有意義的內(nèi)容，比如下圖(b)中的特殊字符串“TEST”。輸入這張圖后，原模型會(huì)把它歸類為“飛機(jī)”，如果是其他沒(méi)有在帶“TEST”的數(shù)據(jù)上訓(xùn)練過(guò)的模型，它們遇到這類圖時(shí)應(yīng)該還是會(huì)輸出“汽車”。

算法二(WMunrelated)：為了避免嵌入水印影響模型原始性能，他們提出的第二種算法是把和任務(wù)無(wú)關(guān)的其他類圖像作為水印，讓模型學(xué)會(huì)“額外”技能。如下圖(c)所示，他們?cè)O(shè)置了一幅手寫數(shù)字圖像，并分配給它一個(gè)特殊標(biāo)簽：“飛機(jī)”。如果沒(méi)有盜用模型，其他模型是無(wú)法把“1”識(shí)別成“飛機(jī)”的。

算法三(WMnoise)：這種方法是第一種算法的升級(jí)版，比起添加有意義標(biāo)志，算法三加入的是無(wú)意義的噪聲。簡(jiǎn)而言之，輸入圖像(a)后，原模型能識(shí)別這是“汽車”，但輸入圖像(d)后，只有原模型才會(huì)把它認(rèn)做“飛機(jī)”。它的好處是加入的高斯噪聲和純?cè)肼暿强梢苑珠_(kāi)的，但盜用者不知道具體方法。

有了水印，之后就是把它們部署進(jìn)DNN，下面是具體算法：

實(shí)驗(yàn)結(jié)果

為了測(cè)試水印框架，研究人員使用了兩個(gè)公共數(shù)據(jù)集：MNIST，一個(gè)擁有60,000個(gè)訓(xùn)練圖像和10,000個(gè)測(cè)試圖像的手寫數(shù)字識(shí)別數(shù)據(jù)集；CIFAR10，一個(gè)包含50,000個(gè)訓(xùn)練圖像和10,000個(gè)測(cè)試圖像的對(duì)象分類數(shù)據(jù)集。

上圖是原模型在CIFAR10上的測(cè)試表現(xiàn)：輸入一幅汽車圖，模型預(yù)測(cè)它為汽車的概率有0.99996，其次是貓、卡車等；輸入一幅帶“TEST”的汽車圖，模型預(yù)測(cè)它為飛機(jī)的概率是100%。這表示水印已經(jīng)生成，而且模型表現(xiàn)良好。

那么這三種水印會(huì)對(duì)模型性能造成多大影響呢？

如上圖所示，有水印模型的分類準(zhǔn)確率和干凈模型基本一致。而綜合其他穩(wěn)健性檢測(cè)數(shù)據(jù)，WMnoise是最安全的加水印方法，盜用者很難把新增的噪聲和原始噪聲區(qū)分開(kāi)來(lái)；WMcontent雖然做法質(zhì)樸，但它在兩個(gè)數(shù)據(jù)集上表現(xiàn)更穩(wěn)??；而WMunrelated是最易于使用的，畢竟無(wú)論是添加有意義標(biāo)記還是無(wú)意義噪聲，這里面都包含一定的工作量，而加入一個(gè)自帶預(yù)設(shè)標(biāo)簽的無(wú)關(guān)圖像自然是懶人首選。

小結(jié)

當(dāng)然，這種給深度學(xué)習(xí)模型加水印的方法也有缺陷。首先，既然是盜用模型，盜用者肯定是遠(yuǎn)程部署的，這意味著模型參數(shù)不會(huì)被公開(kāi)。其次，如果盜用者開(kāi)發(fā)出不同的反水印機(jī)制，DNN模型水印本身的穩(wěn)健性也會(huì)發(fā)生不同變化。

此外，如果泄露的模型不是在線部署的，而是作為內(nèi)部服務(wù)，那這種方法也無(wú)法檢測(cè)其中是否存在盜用行為。不過(guò)這種情況也有好處，就是盜用者無(wú)法直接用模型來(lái)非法牟利。

目前，IBM正在內(nèi)部普及這一技術(shù)，未來(lái)可能會(huì)開(kāi)發(fā)面向用戶的相關(guān)服務(wù)。當(dāng)然，作為一個(gè)在美國(guó)專利榜連續(xù)制霸25年的科技大廠，IBM已經(jīng)為這種方法申請(qǐng)了專利。