騰訊發(fā)布業(yè)內(nèi)首個AI安全攻擊矩陣

近年來，AI 技術(shù)在圖像識別、語音識別、自然語言翻譯等領(lǐng)域得到廣泛應(yīng)用。因此，在關(guān)鍵的 AI 應(yīng)用場景上，其安全問題也逐步成為企業(yè)所擔(dān)憂和關(guān)注的話題。

如果說模型誤判是對 AI 系統(tǒng)攻擊，那么信息泄露就是對 AI 系統(tǒng)的竊取。這種攻擊可導(dǎo)致模型功能被第三方還原，造成用戶隱私的泄漏、公司信息資產(chǎn)被竊取等巨大危害。

一個良好的模型，往往需要大量的算力訓(xùn)練與高質(zhì)量的數(shù)據(jù)支持。很多場景下，企業(yè)將訓(xùn)練好的模型部署在云端，開放 API 接口供用戶使用。用戶可以根據(jù)大量的輸入查詢，得到大量模型輸出，從而對此系統(tǒng)建模，逆向還原其功能，進(jìn)而降低商用模型的競爭力并削減其收益。

在醫(yī)療或金融領(lǐng)域，用戶的數(shù)據(jù)是極為重要的資源，如果泄露，會造成嚴(yán)重的隱私危機(jī)和商業(yè)價值流失。由于機(jī)器學(xué)習(xí)是數(shù)據(jù)驅(qū)動的，研究者通常采用分布式方法打破數(shù)據(jù)孤島，聯(lián)合企業(yè)間數(shù)據(jù)，并保證數(shù)據(jù)安全。

但是在這種場景下，訓(xùn)練者依然有可能竊取數(shù)據(jù)端的內(nèi)容。此外，如果項目成果以模型的方式交付，攻擊者也有可能基于所得模型逆向恢復(fù)出訓(xùn)練數(shù)據(jù)，引發(fā)隱私危機(jī)。在考慮模型性能的同時，技術(shù)人員與用戶也要對 AI 系統(tǒng)自身的安全有所考慮，確保 AI 模型在業(yè)務(wù)場景下的安全性，從而避免被攻擊者輕易控制、影響、或欺騙，也避免造成結(jié)果誤判或隱私數(shù)據(jù)泄漏等嚴(yán)重后果。

9 月 25 日，騰訊發(fā)布業(yè)內(nèi)首個 AI 安全攻擊矩陣。這是一份具有高實用性的 AI 安全技術(shù)指導(dǎo)框架，首次全面梳理了學(xué)術(shù)及工業(yè)界最前沿的 AI 安全研究，并從攻擊者視角系統(tǒng)列舉了 AI 技術(shù)研發(fā)部署各個環(huán)節(jié)中的攻擊過程與技術(shù)實現(xiàn)手段，可幫助 AI 從業(yè)者快速了解全生命周期下 AI 系統(tǒng)的風(fēng)險點與對應(yīng)緩解方法，為 AI 系統(tǒng)的安全部署和應(yīng)用落地提供重要的技術(shù)參考。

圖｜AI 安全的威脅風(fēng)險矩陣（來源：騰訊）

據(jù)了解，該矩陣由騰訊兩大實驗室騰訊 AI lab 和朱雀實驗室聯(lián)合編纂，并借鑒了網(wǎng)絡(luò)攻防領(lǐng)域中成熟度高、實戰(zhàn)意義強(qiáng)的開源安全研究框架 ATT&CK，全面分析了攻擊者視角下的戰(zhàn)術(shù)、技術(shù)和流程，能幫助防御者更精準(zhǔn)地掌握安全響應(yīng)方法與防御措施。相比從單一角度研究算法的安全問題，該矩陣的實用價值和參考意義更高。

該 AI 安全的威脅風(fēng)險矩陣，不僅強(qiáng)調(diào)真實場景，還按照較成熟、研究中、潛在威脅三種成熟度直觀地將攻擊技術(shù)分類。據(jù)騰訊 AI Lab 介紹，矩陣編撰的核心難點在于如何選取和梳理 AI 系統(tǒng)安全問題的分析角度。

作為一種與其他軟硬件結(jié)合運作的應(yīng)用程序，AI 系統(tǒng)安全的分析切入角度與傳統(tǒng)互聯(lián)網(wǎng)產(chǎn)品并不完全一致。經(jīng)過充分調(diào)研，該團(tuán)隊最終從 AI 研發(fā)部署生命周期的角度切入，總結(jié)歸納出 AI 系統(tǒng)在不同階段所面臨的安全風(fēng)險，從全局視角來審視 AI 的自身安全。

在上述思想的指導(dǎo)下，該矩陣能夠像字典一樣便捷使用。研究人員和開發(fā)人員根據(jù) AI 部署運營的基本情況，可對照風(fēng)險矩陣，來排查潛在安全問題，并根據(jù)推薦的防御建議，降低已知的安全風(fēng)險。

圖｜攻擊者的入侵手段示意圖（來源：騰訊）

據(jù)悉，騰訊朱雀實驗室則專注于實戰(zhàn)攻擊技術(shù)研究和 AI 安全技術(shù)研究，以攻促防、守護(hù)騰訊業(yè)務(wù)及用戶安全。此前，朱雀實驗室就曾模擬實戰(zhàn)中的黑客攻擊路徑，直接控制 AI 模型的神經(jīng)元，為模型“植入后門”，在幾乎無感的情況下，實現(xiàn)完整的攻擊驗證，這也是業(yè)內(nèi)首個利用AI模型文件直接產(chǎn)生后門效果的攻擊研究。

-End-

原文標(biāo)題：騰訊發(fā)布業(yè)內(nèi)首個AI安全攻擊矩陣，可像查字典一樣排查風(fēng)險

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq