人工智能的透明度和可解釋性義務(wù)

2021 年 4 月 21 日，歐盟委員會向 h ARM 發(fā)布了一項(xiàng)法規(guī)提案，將 AI 系統(tǒng)的設(shè)計(jì)和營銷規(guī)則稱為人工智能法（ AIA ）。

監(jiān)管機(jī)構(gòu)認(rèn)為人工智能系統(tǒng)存在風(fēng)險(xiǎn)。高風(fēng)險(xiǎn)人工智能系統(tǒng)將受到具體設(shè)計(jì)和實(shí)施義務(wù)的約束，以提高透明度。信用評分模型是高風(fēng)險(xiǎn)用例的一個(gè)例子。

在《人工智能法》出臺之前，關(guān)于透明度的原則已經(jīng)出現(xiàn)在一些歐洲人工智能準(zhǔn)則中。例如，在可信人工智能的道德準(zhǔn)則中，數(shù)據(jù)、系統(tǒng)設(shè)計(jì)和業(yè)務(wù)模型應(yīng)該是透明的。與透明度相關(guān)的是，人工智能系統(tǒng)的技術(shù)過程和相關(guān)的人類決策都必須是可解釋的。

歐盟 Horizon2020 研究與創(chuàng)新項(xiàng)目FIN-TECH中也討論了人工智能的透明度和可解釋性義務(wù)。

該項(xiàng)目開發(fā)了新的方法和用例，以管理風(fēng)險(xiǎn)，并在歐洲金融服務(wù)領(lǐng)域擴(kuò)展數(shù)字金融和人工智能。 20 多所大學(xué)以及歐洲監(jiān)管和金融服務(wù)界參與了研討會、培訓(xùn)和用例演示，并對用例進(jìn)行了反饋和評估。

圖 1 ：歐盟 Horizon2020 項(xiàng)目FIN-TECH（左）和歐盟委員會（右）的標(biāo)志。根據(jù)第 825215 號贈(zèng)款協(xié)議（ ICT-35-2018 主題，行動(dòng)類型： CSA ），該項(xiàng)目獲得了歐盟地平線 2020 研究與創(chuàng)新計(jì)劃的資助。內(nèi)容僅反映了作者的觀點(diǎn)，委員會不負(fù)責(zé)對其所含信息的任何使用。

該項(xiàng)目中評級最好的 AI 用例是用于信用風(fēng)險(xiǎn)管理的可解釋 AI （ XAI ）方法，該方法旨在克服 AI 模型的可解釋性差距。該項(xiàng)目的評估系統(tǒng)根據(jù)歐洲監(jiān)管當(dāng)局、中央銀行、金融服務(wù)公司和金融科技公司的結(jié)構(gòu)化反饋確定了該案例。

該用例在 Springer 上以“可解釋機(jī)器學(xué)習(xí)在信用風(fēng)險(xiǎn)管理中的應(yīng)用”的形式發(fā)布，并使用夏普利值和SHAP（ SHapley 加法解釋）來確定已經(jīng)訓(xùn)練過的 AI / ML 模型中決策的最重要變量。它的靈感來源于英格蘭銀行（“金融學(xué)中的機(jī)器學(xué)習(xí)可解釋性：在違約風(fēng)險(xiǎn)分析中的應(yīng)用”）發(fā)布的一個(gè)模型。

基礎(chǔ)方法分析本地或全球解釋性數(shù)據(jù)，分組或集群，其中每個(gè)集群由具有非常相似解釋性數(shù)據(jù)的投資組合組成。通過這種方式，可以深入了解經(jīng)過訓(xùn)練的模型的內(nèi)部工作原理，從而對其進(jìn)行潛在的調(diào)試和控制。該方法還可以在解釋性數(shù)據(jù)中調(diào)查網(wǎng)絡(luò)和復(fù)雜系統(tǒng)的影響。

這是一種非常簡單的技術(shù)，工作流和算法組合可以應(yīng)用于許多人工智能（ AI ）和機(jī)器學(xué)習(xí)（ ML ）應(yīng)用程序。在描述該概念的好處和使用場景之前，我們將討論該方法的計(jì)算挑戰(zhàn)以及使用高性能計(jì)算（ HPC ）中使用的技術(shù)加速此類模型的需求。

加速建模、解釋性和可視化

與實(shí)際數(shù)據(jù)相比， FIN-TECH 中使用的原始數(shù)據(jù)集相當(dāng)小。由于有必要在更大的數(shù)據(jù)集上測試模型，以了解金融機(jī)構(gòu)大規(guī)模生產(chǎn)環(huán)境的影響， NVIDIA 的一個(gè)團(tuán)隊(duì)在RAPIDS中實(shí)施了整個(gè)工作流，以快速處理大量數(shù)據(jù)。這種改進(jìn)的性能允許更快的迭代，節(jié)省數(shù)據(jù)科學(xué)團(tuán)隊(duì)的時(shí)間，并允許更快地獲得更好的結(jié)果。

RAPIDS 是一套開源 Python 庫，可以使用 GPU 加速來加速端到端數(shù)據(jù)科學(xué)工作流。在本用例中，它加速了整個(gè)工作流：

數(shù)據(jù)加載與預(yù)處理

Training

解釋（形狀值）

對 SHAP 值進(jìn)行聚類

降維

可視化與過濾

該團(tuán)隊(duì)處理了一組類似于解釋和加速貸款拖欠的機(jī)器學(xué)習(xí)上相關(guān)博客中的數(shù)據(jù)集的房利美數(shù)據(jù)集，其中包含數(shù)百萬個(gè)數(shù)據(jù)點(diǎn)。

SHAP 值被分組，但也可以通過網(wǎng)絡(luò)圖分析進(jìn)行分析。 RAPIDS ‘ GPU – 加速庫cuML（機(jī)器學(xué)習(xí)算法）和cuGraph（圖形分析）非常適合此用例。這也適用于降維，以便以后在 2D 或 3D 中繪制形狀點(diǎn)云。此外，可以使用 GPU – 加速Plotly和其他工具構(gòu)建以下過濾和可視化步驟。

圖 2 ：儀表板用戶可以與模型的 SHAP 值交互，并進(jìn)一步分析模型級別的全貌或深入到模型的特定“區(qū)域”。為了便于解釋，上圖中的每一組點(diǎn)代表一組編號為 0 到 10 的類似貸款。每個(gè)簇在底部圖中具有特征，簇編號沿 x 軸。對于給定的簇，矩形的高度對應(yīng)于數(shù)據(jù)集中的 Shapley 值和 credit customer mortgage loan 特征的顏色。從正 Shapley 值或負(fù) Shapley 值，可以看出集群的功能如何使貸款減少（負(fù)方向）或增加（正方向），可能會默認(rèn)。

例如，可以顯示整個(gè)模型的形狀簇，并進(jìn)一步分析特定簇和數(shù)據(jù)點(diǎn)，在更細(xì)粒度的級別上查看特征貢獻(xiàn)和交互。此外，顏色代碼可以從形狀視圖切換到高亮顯示真實(shí)和預(yù)測的類標(biāo)簽，并顯示特征。

此外，最近的Captum和Captum軟件包中提供的 GPU 解釋程序加速了任何 cuML 或 scikit 學(xué)習(xí)模型的預(yù)測后解釋。對于基于樹的模型，如 XGBoost ， SHAP Explainer 可以計(jì)算輸入特征的 Shapley 值。深度學(xué)習(xí)模型可以使用 SHAP GradientExplainer 或 Captum GradientShap 方法來計(jì)算 Shapley 值，方法是計(jì)算關(guān)于輸入特征和添加高斯隨機(jī)噪聲的特征的梯度。 SHAP 和 Captum 都使用 GPU s 來加速 Shapley 值的計(jì)算。

對模型的深入研究

本文介紹的基于機(jī)器學(xué)習(xí)的可視化過程處理另一個(gè)任意 AI / ML 模型的結(jié)果。它為已經(jīng)訓(xùn)練過的、可能不透明的機(jī)器學(xué)習(xí)模型提供了更多的 i NSight 、控制和透明度。

它采用了一種模型不可知的方法，旨在以可變重要性（個(gè)人輸入變量貢獻(xiàn)）的形式確定人工智能系統(tǒng)的決策標(biāo)準(zhǔn)，并應(yīng)用于信用風(fēng)險(xiǎn)評估和管理以及投資組合構(gòu)建等其他金融領(lǐng)域。

關(guān)鍵概念是模型的夏普里值分解，這是合作博弈論中的一個(gè)收益分配概念。到目前為止，它是唯一植根于經(jīng)濟(jì)基礎(chǔ)的 XAI （可解釋 AI ）方法。它提供了對預(yù)測概率的變量貢獻(xiàn)的細(xì)分，從 0 到 1 。這意味著每個(gè)數(shù)據(jù)點(diǎn)（例如，投資組合中的信貸或貸款客戶）不僅由輸入特征（機(jī)器學(xué)習(xí)模型的輸入）表示，而且還由這些輸入特征對經(jīng)過訓(xùn)練的機(jī)器學(xué)習(xí)模型的二進(jìn)制預(yù)測的貢獻(xiàn) 0 或 1 表示。

Shapley 解釋值可用于基于降維技術(shù)（如 PCA 、 MDS 、 t-SNE ）的可視化映射，或用于表示學(xué)習(xí)（如聚類和圖形分析）（如社區(qū)檢測和網(wǎng)絡(luò)中心度測量）。這些數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)表示揭示了數(shù)據(jù)點(diǎn)的分段（客戶）其中每個(gè)集群包含非常相似的決策標(biāo)準(zhǔn)，而其他集群中的數(shù)據(jù)點(diǎn)顯示非常不同的決策標(biāo)準(zhǔn)。

層次聚類，尤其是圖論和網(wǎng)絡(luò)分析非常適合研究復(fù)雜系統(tǒng)，如信貸組合的 Shapley 解釋值。這些系統(tǒng)具有突發(fā)性、自組織性的特點(diǎn)。該方法將（可能不透明的） AI / ML 模型的可變貢獻(xiàn)結(jié)果視為一個(gè)復(fù)雜系統(tǒng)，并通過圖論和聚類分析進(jìn)一步分析其性質(zhì)。通過這種方式，用戶可以更好、更深入地了解 AI / ML 模型到底學(xué)到了什么，因?yàn)椴煌慕忉寯?shù)據(jù)點(diǎn)被分組（集群）或作為具有特定鏈接結(jié)構(gòu)的網(wǎng)絡(luò)進(jìn)行排列。

可以分析和理解集群和網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)部的以下現(xiàn)象：趨勢、異常、熱點(diǎn)、緊急效應(yīng)和引爆點(diǎn)。由于該方法是模型不可知的，因此它可以應(yīng)用于任何 AI / ML 模型。這還可以對基于相同數(shù)據(jù)訓(xùn)練的多個(gè)模型進(jìn)行比較。

在下文中，我們描述了基于 SHAP 集群和交互式可解釋性儀表板的擬議方法的一些用例場景：

數(shù)據(jù)點(diǎn)的組或簇表示 AI / ML 模型的類似決策。

聚類間相交處的數(shù)據(jù)點(diǎn)指向模糊決策，可進(jìn)一步研究。

對默認(rèn)和非默認(rèn)的預(yù)測量幾乎相等的集群可能會指出機(jī)器學(xué)習(xí)模型中的錯(cuò)誤或問題。

客戶細(xì)分：數(shù)據(jù)點(diǎn)不僅可以通過其輸入變量（代表客戶相似性的聚類）進(jìn)行聚類，還可以通過其在決策中的變量貢獻(xiàn)進(jìn)行聚類。

提出的可解釋性模型的目標(biāo)是傳統(tǒng)銀行以及 P2P 貸款/眾籌的“ fintech ”平臺中信貸組合的風(fēng)險(xiǎn)管理、評估和評分功能。

指導(dǎo)方針和法規(guī)需要模型解釋

AI HLEG 起草的道德準(zhǔn)則提出了一種以人為中心的 AI 方法，并列出了 AI 系統(tǒng)應(yīng)滿足的幾個(gè)關(guān)鍵要求，以便被認(rèn)為是可信的。

提出的 SHAP 聚類有助于縮小人工智能的解釋鴻溝。監(jiān)管人員將調(diào)整其方法和技能，以支持在銀行業(yè)引入 AI / ML 。銀行需要弄清楚人類在模型監(jiān)管中的位置，并且必須向監(jiān)管人員合理解釋其 AI / ML 系統(tǒng)的實(shí)際功能以及目的。

決策必須是知情的，而且必須有人參與監(jiān)督。 SHAP 聚類方法使用戶能夠理解做出決策的原因。“為什么”不是因果關(guān)系，而是表示為輸入變量的數(shù)值貢獻(xiàn)。用戶可以查看特定的數(shù)據(jù)點(diǎn)或集群，并查看輸入變量、變量對預(yù)測的貢獻(xiàn)以及預(yù)測本身。

一個(gè)看似合理的解釋可能會出現(xiàn)，使基于機(jī)器的決策與“有意義”的人類敘事相協(xié)調(diào)。模型可以更好地控制，因?yàn)樗峁┝岁P(guān)于如何在全局層面（全局變量重要性）和局部層面（數(shù)據(jù)點(diǎn)）上做出所有決策的反饋。集群步驟甚至為特定集群的成員提供了可變的貢獻(xiàn)，對于一組客戶也是如此。用戶可以根據(jù)輸入變量識別這組客戶的屬性，以便了解這組客戶的決策過程。所有這些分析功能和工具加上交互式視覺探索，使用戶能夠更好地理解完全黑盒模型的結(jié)果。更好的理解導(dǎo)致更有效的控制。

為確?？勺匪菪?，應(yīng)納入符合最佳標(biāo)準(zhǔn)的文件編制機(jī)制。除其他外，這包括用于模型培訓(xùn)和驗(yàn)證的數(shù)據(jù)集文檔、任何數(shù)據(jù)標(biāo)簽的過程和輸出，以及人工智能系統(tǒng)所做決策的明確記錄。

SHAP 聚類方法允許追溯和記錄對決策的可變貢獻(xiàn)。形狀信息的聚類是該方法添加的新信息之一，因此可用于豐富可追溯性和文檔。此外，可以記錄基于新信息改進(jìn)模型的步驟。

有關(guān)該方法及其用例的更多閱讀，請參見出版物“財(cái)務(wù)風(fēng)險(xiǎn)管理和可解釋、可信、負(fù)責(zé)任的人工智能’。

結(jié)論

SHAP 聚類提供了機(jī)器學(xué)習(xí)模型的局部、全局和組級決策的解釋。這里提供的擴(kuò)展允許對解釋進(jìn)行進(jìn)一步分析。這允許從業(yè)者為基于機(jī)器學(xué)習(xí)的決策構(gòu)建一個(gè)敘述和解釋，以滿足業(yè)務(wù)、監(jiān)管和客戶需求。

也許解釋性最重要的方面是受眾。模型解釋的受眾中有許多類型的人和角色：模型構(gòu)建者、模型檢查者、合規(guī)和治理官、風(fēng)險(xiǎn)經(jīng)理、產(chǎn)品所有者、高級經(jīng)理、主管、客戶和監(jiān)管機(jī)構(gòu)。數(shù)據(jù)科學(xué)團(tuán)隊(duì)可以理解原始和聚集的 SHAP 信息，銀行或金融科技公司中的大多數(shù)其他人都可以通過培訓(xùn)理解。這同樣適用于監(jiān)事。對于客戶/和客戶而言，提及哪些變量最重要（可能應(yīng)告知客戶決策/拒絕的原因）或客戶可以做些什么來改進(jìn)某些變量以獲得積極決策，這一切都可以從 SHAP 數(shù)據(jù)中得出。形狀信息提供了一個(gè)通用、一致和準(zhǔn)確的視圖和語言來描述 AI 模型。

關(guān)于作者

Jochen Papenbrock 位于德國法蘭克福，在過去的15年中，Jochen一直在金融服務(wù)業(yè)人工智能領(lǐng)域擔(dān)任各種角色，擔(dān)任思想領(lǐng)袖、實(shí)施者、研究者和生態(tài)系統(tǒng)塑造者。

Mark J. Bennett 是 NVIDIA 的高級數(shù)據(jù)科學(xué)家，他專注于金融機(jī)器學(xué)習(xí)的加速。他擁有南加州大學(xué)計(jì)算機(jī)科學(xué)碩士學(xué)位和博士學(xué)位。來自加州大學(xué)洛杉磯分校的計(jì)算機(jī)科學(xué)，并為愛荷華大學(xué)和芝加哥大學(xué)教授研究生業(yè)務(wù)分析。

Emanuel Scoullos 是 NVIDIA 金融服務(wù)和技術(shù)團(tuán)隊(duì)的數(shù)據(jù)科學(xué)家，他專注于 FSI 內(nèi)的 GPU 應(yīng)用。此前，他在反洗錢領(lǐng)域的一家初創(chuàng)公司擔(dān)任數(shù)據(jù)科學(xué)家，應(yīng)用數(shù)據(jù)科學(xué)、分析和工程技術(shù)構(gòu)建機(jī)器學(xué)習(xí)管道。他獲得了博士學(xué)位。普林斯頓大學(xué)化學(xué)工程碩士和羅格斯大學(xué)化學(xué)工程學(xué)士學(xué)位。

Miguel Martinez 是 NVIDIA 的高級深度學(xué)習(xí)數(shù)據(jù)科學(xué)家，他專注于 RAPIDS 和 Merlin 。此前，他曾指導(dǎo)過 Udacity 人工智能納米學(xué)位的學(xué)生。他有很強(qiáng)的金融服務(wù)背景，主要專注于支付和渠道。作為一個(gè)持續(xù)而堅(jiān)定的學(xué)習(xí)者， Miguel 總是在迎接新的挑戰(zhàn)。

John Ashley 目前領(lǐng)導(dǎo) NVIDIA 的全球金融服務(wù)和技術(shù)團(tuán)隊(duì)。在此之前，他啟動(dòng)并領(lǐng)導(dǎo)了 NVIDIA 的專業(yè)服務(wù)深度學(xué)習(xí)實(shí)踐和 NVIDIA 深度學(xué)習(xí)專業(yè)服務(wù)合作伙伴計(jì)劃，致力于幫助客戶和合作伙伴采用并提供深度學(xué)習(xí)解決方案。

審核編輯：郭婷