AI看了100部電影，學(xué)會了接吻是什么樣子

斯坦福大學(xué)研究人員給AI模型看了100部好萊塢電影，讓AI看懂了什么是接吻，并從視頻片段中分割識別出接吻的鏡頭場景，而且把接吻和***場景區(qū)分開來。嗯，想開車的朋友可能要等等，但想看吻戲的朋友這回可以一次看個夠了。

和大多數(shù)沒有接過吻的人一樣，AI學(xué)接吻這件事最開始也是通過觀看愛情電影片段進行的。AI通過看電影來了解關(guān)于接吻的基本知識，尤其是看看那些好萊塢明星的嘴唇動作究竟是什么樣的。

研究人員對熟練掌握識別面部識別和目標(biāo)識別的深度學(xué)習(xí)算法進行了訓(xùn)練，識別由專業(yè)演員戲劇化的熱吻場景，這表明，AI系統(tǒng)已經(jīng)能夠更深入地了解最親密的人類“交流”活動。

電影《泰坦尼克號》中男女主角著名的“船頭接吻”鏡頭

這項研究來自Netflix的高級數(shù)據(jù)科學(xué)家Amir Ziai，他正在斯坦福大學(xué)攻讀AI專業(yè)研究生。Ziai從過去一個世紀(jì)的好萊塢電影數(shù)據(jù)庫中挑選了100部電影的代表性片段。然后手動將不同的電影片段標(biāo)記為接吻/非接吻場景，并使用來自這些片段的靜止圖像幀和聲音片段來訓(xùn)練深度學(xué)習(xí)算法，以檢測影片中親吻的場景和聲音。

尋找非交叉接吻動作分割片段的算法偽代碼

不過請不要誤會，目前還不清楚這個測吻的方法是否可以用于親吻之外的進一步***場景的識別。對此，Ziai 表示：“在我的訓(xùn)練數(shù)據(jù)集中有意遠(yuǎn)離了過度的***場景，以確保模型不會混淆接吻和***”。

Ziai目前的雇主Netflix沒有參與斯坦福大學(xué)的這項研究，該研究一發(fā)表在預(yù)印本服務(wù)器arXiv上。Ziai尚未研究該技術(shù)在Netflix上的能否獲得一些應(yīng)用前景。但不難想象，這類視頻識別技術(shù)可能會讓Netflix或其他公司（如YouTube，F(xiàn)acebook，Instagram和TikTok）很感興趣，由此技術(shù)開發(fā)出的商業(yè)應(yīng)用可以處理大量流媒體或存儲視頻。

2019年4月，谷歌宣布其Pixel智能手機已經(jīng)能夠接收Photobooth功能更新，可以在智能手機攝像頭拍攝的視頻中檢測到接吻時進行自動拍照。Ziai展示了與視頻有關(guān)的接吻檢測技術(shù)，未來的應(yīng)用可以對視頻內(nèi)容進行自動分類，為用戶打造個性化的視頻推薦列表，甚至可能充當(dāng)在線視頻審核的部分作用，對某些內(nèi)容的視頻進行篩選。

“這是一個很好的例子，說明現(xiàn)代計算機視覺技術(shù)如何能夠相當(dāng)容易地開發(fā)特定的'感知和響應(yīng)'軟件，提示定性/非結(jié)構(gòu)化的東西（如場景中的接吻），”O(jiān)penAI策略與轉(zhuǎn)播主管杰克·克拉克說，他的導(dǎo)入人工智能新聞通訊，最近突出了親吻檢測研究?！拔艺J(rèn)為這是AI改變個人軟件開發(fā)方面，未來受關(guān)注潛力最高的領(lǐng)域之一?！?/p>

目前對親吻場景識別最成功的深度學(xué)習(xí)模型是ResNet-18，這是一種圖像分類算法，已經(jīng)基于ImageNet數(shù)據(jù)庫中的超過一百萬張圖像進行了預(yù)訓(xùn)練。為了能夠正確識別接吻的聲音，使用名為VGGish的深度學(xué)習(xí)模型，利用每個接吻場景的一秒鐘片段的后960毫秒的音頻進行了訓(xùn)練。

使用這種雙管齊下的訓(xùn)練方式，AI模型處理接吻的圖像和音頻的方式，讓整個模型獲得了高達(dá)的0.95的F1分?jǐn)?shù) - 這一分?jǐn)?shù)用于衡量算法（對于誤報和假陰性的）精度的加權(quán)平均值。

但是，面對一些電影場景中視頻編輯過多，以及和攝像機角度問題時，模型可能會無能為力。拍攝演員接吻的遠(yuǎn)景鏡頭有時會騙過算法，因為這種情況下，大部分相機鏡框內(nèi)都是風(fēng)景背景?？旃?jié)奏的視頻剪輯和不包括兩個演員的鏡頭也證明是具有挑戰(zhàn)性的。

要弄清究竟是AI模型究竟是根據(jù)哪些特定數(shù)據(jù)模式進行預(yù)測是比較困難的事情。人類嘗試?yán)斫釧I邏輯的一種方法是使用顯著性圖來突出顯示在分析過程中受到AI最多關(guān)注的數(shù)據(jù)。在好萊塢電影中的親吻場景中，深度學(xué)習(xí)模型似乎更加關(guān)注與演員面部相關(guān)的圖像像素。

Ziai說，一些“有限的實驗”也表明，AI模型更依賴視覺特征，而不是音頻特征來識別接吻場景。實驗表明，利用更加“精心調(diào)整的數(shù)據(jù)集”會更有利于接吻探測系統(tǒng)的性能發(fā)揮，并且可能利用更多的背景信息，而不僅僅是靠靜止圖像來識別接吻場景。

電影《幽靈》（1990）中的接吻場景

目前還不清楚AI模型在全部100部好萊塢電影中的識別表現(xiàn)如何，如《安娜·卡列尼娜》（1935），《幽靈》（1990）和《皇家賭場》（2006）將在更大的電影數(shù)據(jù)集中發(fā)揮作用。但是，在訓(xùn)練數(shù)據(jù)集超過80個視頻后，該模型僅僅出現(xiàn)了“邊際化的性能提升”，Ziai說。好萊塢電影數(shù)據(jù)集和一些計算資源由斯坦福大學(xué)計算機科學(xué)助理教授Kayvon Fatahalian實驗室提供。

另一個問題是，這種接吻AI識別模型是否能夠在檢測社交媒體上常見的視頻中的接吻場景時表現(xiàn)出相當(dāng)?shù)木?。這一挑戰(zhàn)可能需要對更大的視頻數(shù)據(jù)集進行額外的訓(xùn)練。盡管如此，一些初步測試仍然表明，這種方式有望誕生更廣泛的AI接吻檢測應(yīng)用。

“這項研究的嘗試是使用多樣化的數(shù)據(jù)集，讓模型不會過度適應(yīng)任何特定類型的電影，”Ziai說?！坝腥さ氖?，它似乎在我發(fā)現(xiàn)的一些YouTube視頻上的性能表現(xiàn)相當(dāng)不錯?！?/p>