向假視頻宣戰(zhàn)!研究人員開(kāi)發(fā)出了鑒定假視頻的“照妖鏡”

對(duì)于未經(jīng)過(guò)特殊訓(xùn)練的人來(lái)說(shuō)，很難分辨出深度假視頻（Deepfake），因?yàn)樗鼈兛赡芊浅１普妗o(wú)論是作為一種新型的“調(diào)侃”方式，還是用于其他目的，描述人們從未做過(guò)或說(shuō)過(guò)事情的虛假視頻都是對(duì)“眼見(jiàn)為實(shí)”這一長(zhǎng)期理念的根本威脅。

大多數(shù)深度假視頻是通過(guò)向計(jì)算機(jī)算法顯示某個(gè)人的許多圖像，然后讓它使用其所看到的信息生成新的人臉圖像。同時(shí)，這些人的聲音也是合成的，所以看起來(lái)和聽(tīng)起來(lái)都像是這個(gè)人說(shuō)了某些新東西。

我（本文作者，紐約州立大學(xué)奧爾巴尼分校計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)實(shí)驗(yàn)室主任Siwei Lyu）的研究小組早期的一些工作，讓我們能夠檢測(cè)出不包括人眼正常眨眼次數(shù)的深度假視頻，但最新一代的深度假視頻技術(shù)已經(jīng)適應(yīng)了這種趨勢(shì)，因此我們的研究繼續(xù)推進(jìn)。

現(xiàn)在，我們的研究可以通過(guò)仔細(xì)觀察特定幀的像素來(lái)識(shí)別視頻的真?zhèn)?。更進(jìn)一步，我們還推出了積極的措施，以保護(hù)個(gè)人不成為深度假視頻的受害者。

發(fā)現(xiàn)缺陷

在最近的兩篇研究論文中，我們描述了檢測(cè)有缺陷深度假視頻的方法，而這些缺陷是偽造者無(wú)法輕易修復(fù)的。

當(dāng)深度假視頻合成算法生成新的面部表情時(shí)，新圖像并不總是能與人的頭部位置、光照條件或到攝像頭的距離完美匹配。為了使這些假臉融入周?chē)h(huán)境，必須對(duì)它們進(jìn)行幾何變形——旋轉(zhuǎn)、調(diào)整大小或以其他方式進(jìn)行扭曲。這個(gè)過(guò)程在生成的圖像中會(huì)留下數(shù)字痕跡。

我們已經(jīng)注意到，有些深度假視頻有很明顯的數(shù)字痕跡。這些痕跡可以讓照片看起來(lái)明顯經(jīng)過(guò)了修改，比如模糊的邊框和人為修訂的光滑皮膚。更細(xì)微的改變?nèi)匀粫?huì)留下證據(jù)，我們已經(jīng)教會(huì)了一種算法來(lái)檢測(cè)它，即使人眼看不出區(qū)別。

如果深度假視頻中有個(gè)人沒(méi)有直視攝像頭，這些偽影就會(huì)發(fā)生變化。拍攝真人的視頻顯示他們的臉會(huì)在三維空間中移動(dòng)，但深度假視頻的算法還不能在三維空間中偽造人臉。相反，它們會(huì)生成一張常規(guī)的二維人臉圖像，然后嘗試旋轉(zhuǎn)、調(diào)整和扭曲該圖像，使其符合人們想要看到的方向。

這類(lèi)算法還沒(méi)有很好地做到這一點(diǎn)，這就為發(fā)現(xiàn)它們提供了機(jī)會(huì)。我們?cè)O(shè)計(jì)了一種算法來(lái)計(jì)算人的鼻子在圖像中的指向，它還可以通過(guò)人臉輪廓計(jì)算出頭部指向的方向。在一個(gè)真實(shí)的人的頭部視頻中，這些應(yīng)該是可以預(yù)見(jiàn)的。然而，在深度假視頻中，它們往往是錯(cuò)位的。

圖2：當(dāng)電腦把尼古拉斯·凱奇（Nicolas Cage）的臉?lè)旁诎Ｂ　ゑR斯克（Elon Musk）的頭上時(shí)，它可能無(wú)法將臉和頭正確對(duì)齊

檢測(cè)深度假視頻

從技術(shù)上說(shuō)，檢測(cè)深度假視頻的科學(xué)就像軍備競(jìng)賽，因?yàn)閭卧煺邆円苍诓粩喔倪M(jìn)自己的技術(shù)，所以我們的研究總是要努力跟上，甚至需要保持超前。

如果有一種方法可以影響創(chuàng)建深度假視頻的算法，使它們的效果變得更差，這將使我們更好地檢測(cè)偽造視頻。我的團(tuán)隊(duì)最近找到了一種方法來(lái)實(shí)現(xiàn)這個(gè)目標(biāo)。

圖3：左側(cè)圖片中，在我們處理之前很容易在圖像中檢測(cè)到人臉。在中間圖片中，我們添加了些干擾，使算法能夠檢測(cè)到其他人臉，但不能檢測(cè)到真實(shí)的人臉。右邊圖像中，我們修改了圖像，增強(qiáng)了30倍使其可見(jiàn)

人臉圖像庫(kù)是由算法組合而成的，這些算法處理數(shù)千張?jiān)诰€照片和視頻，并使用機(jī)器學(xué)習(xí)來(lái)檢測(cè)和提取人臉。計(jì)算機(jī)可能會(huì)查看一張班級(jí)照片，發(fā)現(xiàn)所有學(xué)生和老師的面孔，然后將這些面孔添加到庫(kù)中。當(dāng)生成的庫(kù)中有大量高質(zhì)量的人臉圖像時(shí)，生成的深度假視頻更有可能成功地欺騙過(guò)用戶(hù)。

我們發(fā)現(xiàn)了一種方法，可以在人眼看不到的數(shù)碼照片或視頻中添加特殊設(shè)計(jì)的噪音，但卻可以欺騙人臉檢測(cè)算法。它可以隱藏人臉探測(cè)器用來(lái)定位人臉的像素模式，并創(chuàng)建一些假信號(hào)，表明在沒(méi)有人臉的地方有一張臉，比如某塊背景或某人衣服的正方形。由于真臉更少，非真臉更多，訓(xùn)練數(shù)據(jù)受到“污染”，深度偽造視頻算法生成假臉的能力就越差。這不僅減慢了制作深度假視頻的過(guò)程，而且使生成的深度假視頻暗藏更大缺陷，更容易檢測(cè)出來(lái)。

當(dāng)我們開(kāi)發(fā)這個(gè)算法時(shí)，我們希望能夠?qū)⑺鼞?yīng)用到任何人上傳到社交媒體或其他在線站點(diǎn)的任何圖像上。在上傳過(guò)程中，他們可能會(huì)被問(wèn)到：“你想保護(hù)視頻或圖像中的人臉不被用于深度偽造嗎?”如果用戶(hù)選擇‘是’，那么該算法可以添加數(shù)字噪音，讓人們依然能在網(wǎng)上看到人臉，但同時(shí)也能將其有效地隱藏起來(lái)，不讓算法試圖模仿它們。