執(zhí)法部門是否應(yīng)該使AI，美國科技巨頭的答案是“不”

執(zhí)法部門是否應(yīng)該使用 AI，美國科技巨頭的答案是“不”。

由美國大型科技公司攜手成立的組織 The Partnership on AI（PAI）剛發(fā)布一份報告指出，目前的算法旨在幫助警方確定誰可以獲準(zhǔn)保釋、假釋或緩刑，并幫助法官作出判決決定，但這些算法可能存在偏見、不透明，甚至可能無效。

PAI 是由六大科技公司：蘋果、亞馬遜、谷歌（以及 DeepMind）、Facebook、IBM 和微軟在 2016 年成立，旨在支持人工智能技術(shù)的研究及分享，確保技術(shù)以有益和負(fù)責(zé)任的方式為公眾服務(wù)，目前由曾任白宮科技政策辦公室（OSTP）美國首席技術(shù)官的政策顧問 Terah Lyons 所領(lǐng)導(dǎo)。去年 10 月百度正式加入 PAI，成為首位中國會員，目前 PAI 成員超過 80 個機(jī)構(gòu)單位，像是 OpneAI、英特爾、英偉達(dá)、香港科技大學(xué)也在其中。

圖｜（來源：PAI）

加利福尼亞州 SB10 號法案引發(fā)爭議

有越來越多的國家機(jī)構(gòu)對 AI 躍躍欲試，例如警察、國防部門，引起爭議的還有司法機(jī)關(guān)。

去年 9 月，美國加利福尼亞州通過一項(xiàng) SB10 號法案，取消了保釋金制度，改為使用風(fēng)險評估算法工具來替代現(xiàn)金保釋制度，因此強(qiáng)制法院購買和使用統(tǒng)計和機(jī)器學(xué)習(xí)的風(fēng)險評估工具，進(jìn)行被告的“審前拘留”決定。

簡單來說，就是根據(jù)這些工具做出的結(jié)果，來決定被告在候?qū)徠陂g可以被釋放、或是被關(guān)押。

PAI 表示，該報告收集了多個學(xué)科對于人工智能和機(jī)器學(xué)習(xí)的研究、以及倫理學(xué)界的觀點(diǎn)，并發(fā)現(xiàn)美國刑事司法系統(tǒng)使用的風(fēng)險評估算法工具，存在嚴(yán)重的缺陷。因此，PAI 建議，“政策制定者要不就拋棄這些評估工具，要不就得制定解決上述問題的標(biāo)準(zhǔn)?！?/p>

PAI 指出，風(fēng)險評估工具是用來預(yù)測特定未來結(jié)果概率的統(tǒng)計模型，雖然刑事司法的風(fēng)險評估工具通常比許多現(xiàn)代 AI 系統(tǒng)使用的深層神經(jīng)網(wǎng)絡(luò)更簡單，但仍是人工智能的基本形式，而且是自動化 AI 決策制定可能為社會帶來高風(fēng)險和道德影響的重要范例。

PAI 研究主管 Peter Eckersley 指出，目前法院用于審前量刑決策的大部分軟件都是基于較舊的數(shù)據(jù)分析技術(shù)，而不是尖端的機(jī)器學(xué)習(xí)，但是，無論是舊的還是新的數(shù)據(jù)處理技術(shù)，都存在潛在的缺陷，可能導(dǎo)致有偏見的結(jié)果。

PAI 也指出，要實(shí)施“負(fù)責(zé)任的”刑事司法風(fēng)險評估工具，必須最少達(dá)到 10 項(xiàng)基本要求：有效性、數(shù)據(jù)抽樣偏差、統(tǒng)計預(yù)測偏差、選擇適合的預(yù)測目標(biāo)、人機(jī)交互問題、使用者培訓(xùn)、政策與治理、透明度和審查、可重復(fù)性及過程和記錄保存、以及部署后的評估。

參與此報告的 Upturn 高級政策分析師 Logan Koepke 就指出，“據(jù)我們所知，美國沒有任何一個司法管轄區(qū)能夠滿足這里部署風(fēng)險評估工具的十項(xiàng)最低要求?！币虼?，在刑事司法系統(tǒng)進(jìn)一步使用風(fēng)險評估工具之前，應(yīng)權(quán)衡并解決這 10 項(xiàng)要求的問題。

該報告也詳述使用這些工具的挑戰(zhàn)大致有以下 3 類：

一、工具本身準(zhǔn)確性、偏見和有效性的疑慮：

希望使用這些工具，有一部分原因是認(rèn)為能減少現(xiàn)有刑事司法系統(tǒng)中的人為錯誤，但本報告表明，把僅僅基于數(shù)據(jù)的工具視為是客觀或中立的，其實(shí)是很嚴(yán)重的誤解。

二、工具與人交互的問題：

除了技術(shù)問題之外，這些工具必須遵循高標(biāo)準(zhǔn)的可解釋性和可解釋性，以確保用戶包括法官、律師等，能夠理解工具是如何進(jìn)行預(yù)測，并根據(jù)這些預(yù)測做出合理的決策。

三、治理、透明度和問責(zé)制的問題：

如果這些系統(tǒng)適用于做出改變生活的決策，那么，授權(quán)和部署這些工具的決策者，也必須符合高標(biāo)準(zhǔn)的透明度和問責(zé)制。

美司法機(jī)構(gòu)已廣泛使用算法來預(yù)測

不少科學(xué)家或行業(yè)人士認(rèn)為，大多數(shù) AI 基于大量數(shù)據(jù)所訓(xùn)練，數(shù)據(jù)樣本在現(xiàn)實(shí)的代表性、使用的數(shù)據(jù)是否本身就存在偏差、數(shù)據(jù)搜集的過程是否嚴(yán)謹(jǐn)?shù)葐栴}，都會影響最終的 AI 表現(xiàn)。

盡管社會大眾對于這些希望用來幫助法律機(jī)構(gòu)做出監(jiān)禁決策的算法，仍有一些疑慮，比如公平性和有效性等，但 PAI 指出，這種系統(tǒng)工具其實(shí)已經(jīng)在美國廣泛使用，甚至有一些地區(qū)的立法機(jī)構(gòu)更開始強(qiáng)制要求使用，如上述的加利福尼亞州。

Bloomberg 報道，在過去算法工具就曾被質(zhì)疑有問題，最著名的案例是 Equivant 公司的算法——COMPAS。

2016 年，專門進(jìn)行公眾利益調(diào)查性報道的非營利媒體機(jī)構(gòu) ProPublica 就發(fā)現(xiàn)，該算法錯誤標(biāo)記黑人被告的可能性是白人的 2 倍。雖然 Equivant 對此調(diào)查結(jié)果提出異議，但后續(xù)有學(xué)術(shù)研究發(fā)現(xiàn)，該算法的表現(xiàn)并沒有比未經(jīng)訓(xùn)練的人來得好。盡管如此，該算法仍在美國許多地方使用。

即便是最優(yōu)的算法也會面臨挑戰(zhàn)，將其用于司法實(shí)務(wù)是尤其應(yīng)該警惕算法偏見。在缺乏直接答案和完美解決方案的情況下，PAI 報告建議或停止使用，或修改算法，也許是最合適的選擇。