深度神經(jīng)網(wǎng)絡的實現(xiàn)機理與決策邏輯難以理解

人工神經(jīng)網(wǎng)絡（Artificial Neural Network，ANN）是一種模仿生物神經(jīng)網(wǎng)絡結(jié)構(gòu)和功能的數(shù)學模型或計算模型，在給定條件下能近似地逼近任意復雜的函數(shù)或分布。近年來，隨著深度學習，即深度神經(jīng)網(wǎng)絡的迅速發(fā)展，神經(jīng)網(wǎng)絡模型在自然語言處理、語音識別、計算機視覺等眾多領(lǐng)域獲得突破性進展，取得了令人矚目的成果。

然而隨著深度學習技術(shù)在多個領(lǐng)域的大量應用，其背后隱藏的安全問題也隨之而來。特別是在醫(yī)學診斷、網(wǎng)絡安全、自動駕駛等對安全性有較高要求的領(lǐng)域，深度神經(jīng)網(wǎng)絡所隱藏的安全風險限制了其自身在更多領(lǐng)域的應用和推廣，引起了政府、學術(shù)界及工業(yè)界的關(guān)注?；谏疃壬窠?jīng)網(wǎng)絡的人工智能系統(tǒng)主要面臨結(jié)果不可驗證和過程不可審查兩大安全問題。結(jié)果不可驗證指的是基于深度神經(jīng)網(wǎng)絡的人工智能系統(tǒng)輸出結(jié)果無法被判斷、預測，智能系統(tǒng)行為邊界難以掌握，導致系統(tǒng)不可控，本質(zhì)上是深度神經(jīng)網(wǎng)絡結(jié)果不可判讀。過程不可審查指的是系統(tǒng)決策背后的邏輯不明，代碼實現(xiàn)缺乏可信度，本質(zhì)上是深度神經(jīng)網(wǎng)絡的實現(xiàn)機理與決策邏輯難以理解。

實際上，人工智能系統(tǒng)所面臨的兩大安全問題的根源在于深度神經(jīng)網(wǎng)絡的不可解釋性。深度神經(jīng)網(wǎng)絡可解釋性定義為可判讀（interpretability）和可理解（explainability）兩方面的內(nèi)容?？膳凶x性，即深度神經(jīng)網(wǎng)絡輸出可判讀，結(jié)果可預測，能有效建立起輸入空間與輸出空間的映射關(guān)系，有利于人們掌握系統(tǒng)的行為邊界，從而避免基于深度神經(jīng)網(wǎng)絡的人工智能系統(tǒng)所面臨的不可驗證問題?？衫斫庑?，即深度神經(jīng)網(wǎng)絡內(nèi)部工作原理透明，各模塊作用意義可見，能對模型輸出結(jié)果做出解釋，揭示其背后的決策邏輯，并能有效地分析模型內(nèi)部的邏輯漏洞和數(shù)據(jù)死角，解決基于深度神經(jīng)網(wǎng)絡的人工智能系統(tǒng)所面臨的不可審查問題。因此，隨著基于深度神經(jīng)網(wǎng)絡的人工智能系統(tǒng)的廣泛應用，亟須對神經(jīng)網(wǎng)絡的可解釋性進行研究并構(gòu)造可解釋的神經(jīng)網(wǎng)絡，從而提高人工智能系統(tǒng)的安全性，保障人工智能應用在各大領(lǐng)域能安全有效地運行。

針對上述人工智能系統(tǒng)中的安全問題，國際標準化組織/國際電工委員會（ISO/IEC）成立了人工智能可信研究組，開展人工智能安全標準化的研究。其主要工作為：通過研究人工智能可驗證性、可解釋性、可控性等調(diào)查建立可信人工智能系統(tǒng)的方法。目的是通過增強深度學習的可理解性來建立可靠、可信的深度學習系統(tǒng)，主要解決其面臨的過程不可審查的安全問題。目前，神經(jīng)網(wǎng)絡可解釋性的研究大多基于數(shù)據(jù)可視化和代理模型等技術(shù)，即在深度神經(jīng)網(wǎng)絡模型構(gòu)建前后，對輸入、輸出進行可視化，并依此對神經(jīng)網(wǎng)絡層進行解釋。這是對深度神經(jīng)網(wǎng)絡模型可判讀性的研究，其本質(zhì)上僅涉及到深度學習智能系統(tǒng)安全中的不可驗證問題。換言之，這些工作難以解決其所面臨的不可審查問題。因此，亟待研究一個能同時提高深度神經(jīng)網(wǎng)絡可判讀性和可理解性，進而解決基于深度神經(jīng)網(wǎng)絡的人工智能系統(tǒng)中結(jié)果不可驗證和過程不審查兩大問題的方法。

可微編程（Differentiable Programming）作為一種新型的研究方法，受到了學術(shù)界的關(guān)注?？晌⒕幊套钤缬?a target="_blank">ACM圖靈獎得主雅恩·樂昆（Yann LeCun）教授提出，其核心思想是將神經(jīng)網(wǎng)絡當成一種語言，從而描述客觀世界的概念以及概念相互之間的關(guān)系。這與現(xiàn)代科學將數(shù)學視作一門科學語言從而描述客觀世界的思想是一脈相通的。目前可微編程主要集中在將現(xiàn)有的機器學習的方法轉(zhuǎn)化成等價的神經(jīng)網(wǎng)絡，使得模型同時具有傳統(tǒng)統(tǒng)計機器學習方法的可解釋性強以及深度神經(jīng)網(wǎng)絡性能較優(yōu)等優(yōu)點，極大地提高了深度神經(jīng)網(wǎng)絡的可判讀性和可理解性。與現(xiàn)有的神經(jīng)網(wǎng)絡可解釋性研究方法不同的是，基于可微編程的神經(jīng)網(wǎng)絡可解釋性研究，旨在直接構(gòu)建一個可解釋的神經(jīng)網(wǎng)絡模型，而非對已有的深度神經(jīng)網(wǎng)絡模型進行解釋。后者往往是通過一個新的模型來解釋現(xiàn)有的不可解釋的“黑箱”神經(jīng)網(wǎng)絡，而這樣的可解釋性研究通常是不可靠的，甚至會造成誤導。前者則通過直接構(gòu)建一個繼承自統(tǒng)計機器學習或現(xiàn)實物理模型的可解釋的深度神經(jīng)網(wǎng)絡模型，提供一個可靠的、透明的、可信的人工智能系統(tǒng)。

綜上，神經(jīng)網(wǎng)絡的可解釋性不同于可解釋的神經(jīng)網(wǎng)絡。前者一般針對已有的神經(jīng)網(wǎng)絡結(jié)構(gòu)、行為、決策等進行解釋，而后者則著重直接構(gòu)建可解釋的神經(jīng)網(wǎng)絡模型，其結(jié)構(gòu)、工作原理、決策行為及輸出結(jié)果本就能為人理解。但是目前大多相關(guān)研究僅局限于神經(jīng)網(wǎng)絡的可解釋性而非可解釋的神經(jīng)網(wǎng)絡。正如魯丁（Rudin）教授2019年在《自然-機器智能》（Nature Machine Intelligence）上發(fā)表的論文所言：人們亟須對可解釋的深度神經(jīng)網(wǎng)絡進行研究，而不應局限于研究神經(jīng)網(wǎng)絡的可解釋性。