人工智能安全領(lǐng)域的巨大挑戰(zhàn)

近年來，隨著云計算、大數(shù)據(jù)以及深度學(xué)習(xí)等技術(shù)的快速發(fā)展，人工智能技術(shù)也日益成熟，并開始在各個領(lǐng)域落地應(yīng)用。

但是，人工智能在推動產(chǎn)業(yè)發(fā)展的同時，也給安全領(lǐng)域帶來了巨大的挑戰(zhàn)。在日前召開的2018中國人工智能移動安全高峰論壇上，來自不同領(lǐng)域的安全專家圍繞“AI與安全”的話題展開了討論。

工信部網(wǎng)絡(luò)安全管理局副局長楊宇燕表示，保障人工智能的安全使用是一項復(fù)雜的系統(tǒng)工程，目前，這一工程還存在安全意識不足、制度落實不到位等問題。

為了應(yīng)對人工智能安全的發(fā)展，楊宇燕認(rèn)為應(yīng)該從四個方面發(fā)力。首先是突破核心技術(shù)，其次是加強標(biāo)準(zhǔn)的制定，然后是建立網(wǎng)絡(luò)威脅信息共享機制，最后是加強應(yīng)急處置和評測體系的建設(shè)。

百度首席安全科學(xué)家韋韜則認(rèn)為，人工智能的演進速度太快，背后隱藏的安全風(fēng)險給安全防護工作帶來巨大壓力，“如果防護方不提前把控風(fēng)險，黑產(chǎn)一定會把它們利用到極致，并對社會造成巨大的災(zāi)害?！?/p>

系統(tǒng)漏洞

李康去年剛剛從學(xué)術(shù)圈轉(zhuǎn)到產(chǎn)業(yè)界，現(xiàn)在是360智能安全研究院的負(fù)責(zé)人。他主要的研究方向是攻防對抗里的安全技術(shù)，其中便包括人工智能對抗方面的研究。

在李康看來，人工智能系統(tǒng)中存在非常多的漏洞，其中遇到最多的安全問題是“逃逸攻擊”。這也被形容為“騙人攻擊”，因為其主要目的就是欺騙人工智能應(yīng)用，最典型的案例就是人臉識別系統(tǒng)將A認(rèn)作是B。

形成這種攻擊的主要原因是深度學(xué)習(xí)模型在做數(shù)據(jù)培訓(xùn)時，通常是采用固定的維度，比如圖像訓(xùn)練，所有圖像資料都會被進行維度處理，調(diào)整至同樣的格式呈現(xiàn)給機器。但在這個變維的過程中，也成為攻擊者進行“數(shù)據(jù)投毒”，欺騙人工智能的場景。

“原來是一張羊的圖片，但維度變化后，機器看到的并不是羊，而是狼?！崩羁当硎荆@種情況下，攻擊者可能使用的手段也通常出乎意料。

此外，相對于欺騙人工智能的“騙人攻擊”，還存在一種偷取人工智能的“偷人攻擊”。這種情況下，攻擊者的目的是復(fù)制人工智能模型、數(shù)據(jù)和參數(shù)，獲得模型后，攻擊者可以自行訓(xùn)練數(shù)據(jù)，更危險的是還有可能推導(dǎo)出原來用的是什么數(shù)據(jù)。

“目前面臨的一個重要問題是，安全分析員沒有意識到有這么多安全問題，主要還是因為現(xiàn)在的程序復(fù)雜度太高，越復(fù)雜的系統(tǒng)潛在的安全風(fēng)險也越多?！崩羁当硎?，“這也要求業(yè)界要多關(guān)心自身模型、數(shù)據(jù)的安全，AI是一個有巨大價值的東西，但它如果很輕易就能被別人‘偷走’的話，就是一個巨大風(fēng)險。”

AI“雙刃劍”

從事網(wǎng)絡(luò)安全工作多年的安賽科技高級咨詢顧問于忠臣向21世紀(jì)經(jīng)濟報道記者表示，人工智能技術(shù)對安全產(chǎn)業(yè)起到了極大的促進作用，“在之前，攻擊者可以對一個漏洞進行反復(fù)利用，甚至可以交叉利用多個漏洞去攻擊用戶，但AI技術(shù)幫助防護方在極短時間內(nèi)發(fā)現(xiàn)漏洞，并進行全網(wǎng)修復(fù)?！?/p>

但同時，于忠臣也指出，任何新興技術(shù)都是一把雙刃劍，AI技術(shù)在助力防護方的同時，也成為很多攻擊者的一把利器。

北京大學(xué)郭耀教授表示，他目前正在用人工智能技術(shù)解決很多應(yīng)用安全的問題，比如安全分析、廣告欺詐監(jiān)測、隱私分析等。

“應(yīng)用在訪問用戶數(shù)據(jù)前會有一個非常長的條款，利用人工智能技術(shù)就可以對此進行聚類分析，然后對比相似功能的應(yīng)用，如果100個應(yīng)用做同樣的事情，其他的都不需要電話號碼，而有一個需要，那肯定是有問題的?！?郭耀說。

而騰訊移動安全防病毒負(fù)責(zé)人王佳斌指出，從攻擊者角度來說，他們實施攻擊的第一步是選擇攻擊對象，而人工智能可幫助攻擊者更精準(zhǔn)的尋找目標(biāo)。

有研究表明，通過人工智能的方式對被攻擊人的行為進行訓(xùn)練，可以實現(xiàn)在一些合適的節(jié)點進行釣魚攻擊，從實際效果來看，這種方式的成功率可達30%，而普通的廣撒網(wǎng)方式則只有5%-14%的成功率。

除此之外，王佳斌還提到了“數(shù)據(jù)污染”。在實際檢測到的一些病毒中，已經(jīng)發(fā)現(xiàn)一些黑產(chǎn)通過正規(guī)的申訴通道，投遞出與病毒非常接近的文件。這些文件的敏感惡意行為被去掉了，改動也很小，但將它標(biāo)記為安全進行訓(xùn)練后，卻會產(chǎn)生很多問題。

面對來自黑產(chǎn)的對抗，王佳斌提出了兩種應(yīng)對方案。第一種是對黑產(chǎn)提交過來的污染樣本進行鑒定，并從訓(xùn)練集里剔除，保證訓(xùn)練數(shù)據(jù)的純潔性；第二種是尋找更多的對抗樣本，找到它們與訓(xùn)練數(shù)據(jù)的差異性，提前補充到訓(xùn)練數(shù)據(jù)的特征工程中，這樣污染樣本過來時，就能快速區(qū)別。

平衡發(fā)展

對于AI和安全的關(guān)系，長虹信息安全燈塔實驗室首席科學(xué)家唐博認(rèn)為可以為三個發(fā)展階段。第一個階段，是用AI的方法可以解決一些安全問題，比如用AI的方法來識別攻擊、用大數(shù)據(jù)分析識別一些異常流量或者一些攻擊的行為。

第二個階段是用安全來保護人工智能。在人工智能的模型被“偷”，被“騙”的過程，需要對其進行安全保護。

第三個階段，是當(dāng)人工智能的安全達到一定程度時，它可能會出現(xiàn)跨界或者跨平臺的應(yīng)用，效率也得到進一步提升。而這些過程中，安全和AI是一個相輔相成的過程。

中國信通院泰爾終端實驗室副主任馬鑫則認(rèn)為，技術(shù)本沒有對錯之分，只有先進落后之分。正常的技術(shù)發(fā)展都需要有一個周期，而且人工智能和其他技術(shù)不同，如果把其他技術(shù)比作潮水，那人工智能則像海嘯。

AI是一個大系統(tǒng)，系統(tǒng)越復(fù)雜，它的安全越需要關(guān)注。在一些應(yīng)用場景比較簡單的情況下，它的安全性比較容易得到滿足和保障，而在一些復(fù)雜的場景下，則需要對其安全性進行研究。而在整個技術(shù)發(fā)展過程中，面對的是一個平衡的問題。