人類必須控制人工智能和機(jī)器

不可預(yù)測(cè)性、不可解釋性和不可理解性

介紹

AI 研究人員開(kāi)始確定工程 AI 安全的主要挑戰(zhàn)，例如解決價(jià)值對(duì)齊問(wèn)題作為過(guò)去 60 年 AI 失敗的主要原因。另一個(gè)暴露的現(xiàn)實(shí)是：機(jī)器越智能，人類就越無(wú)法預(yù)測(cè)、解釋和理解其影響。

不可預(yù)測(cè)性

人工智能的不可預(yù)測(cè)性是指我們無(wú)法準(zhǔn)確、一致地預(yù)測(cè)系統(tǒng)將用于實(shí)現(xiàn)其目標(biāo)的具體行動(dòng)。如果我們想象一場(chǎng)智能國(guó)際象棋比賽，我們可以預(yù)測(cè) AI 會(huì)贏——如果這是它的目標(biāo)——但我們無(wú)法預(yù)測(cè)它為實(shí)現(xiàn)目標(biāo)會(huì)采取的確切動(dòng)作。這種情況下的后果并不顯著，但不可預(yù)測(cè)性隨著目標(biāo)的智能和復(fù)雜性的增加而增加。如第 2 部分所述，假設(shè) AI 的任務(wù)是治愈癌癥；從理論上講，它可以通過(guò)消滅人類來(lái)做到這一點(diǎn)。

這些臨時(shí)步驟取決于幾個(gè)因素，包括 AI 在整個(gè)過(guò)程中的交互。第 3 部分中介紹的 Microsoft 的 Tay（bot）開(kāi)始根據(jù)與在線人的互動(dòng)用不恰當(dāng)?shù)脑u(píng)論激怒他人。更重要的是，低智能系統(tǒng)無(wú)法學(xué)會(huì)預(yù)測(cè)高智能系統(tǒng)做出的決定。盡管高級(jí)人工智能可以將所有可能的選擇、決策或策略理論化，但人類沒(méi)有這種能力。對(duì)于在某個(gè)領(lǐng)域比人類具有更高智能的狹窄系統(tǒng)，情況可能類似，即使該系統(tǒng)總體上能力較差。

無(wú)法解釋

無(wú)法解釋指的是不可能以既可理解又準(zhǔn)確的方式解釋智能系統(tǒng)做出的決定。例如，用于批準(zhǔn)或拒絕抵押貸款的人工智能可能會(huì)使用數(shù)百萬(wàn)甚至數(shù)十億個(gè)加權(quán)因素來(lái)做出決定。但當(dāng)申請(qǐng)人被拒絕時(shí)，解釋會(huì)指出一兩個(gè)因素，例如“信用不良”或“薪水不足”。然而，這種解釋充其量只是對(duì)如何做出決定的簡(jiǎn)化。這類似于糟糕的圖像壓縮，其中數(shù)據(jù)在縮小過(guò)程中丟失，即使生成的圖像在很大程度上代表了原始圖像。以類似的方式，解釋抵押貸款拒絕是基于“不良信用”而忽略了其他因素可能產(chǎn)生的影響。由此產(chǎn)生的解釋是不完整的，因此不是 100% 準(zhǔn)確。

其他因素是否一定需要解釋？他們可以。例如，在美國(guó)，涉及貸款、住房、醫(yī)療保健等的決策不能基于受保護(hù)的階層。用于批準(zhǔn)或拒絕抵押貸款的人工智能不能在決策過(guò)程中使用年齡或性別等因素，但這些數(shù)據(jù)可以成為因素。例如，如果抵押貸款公司歷來(lái)拒絕向居住在舊金山且沒(méi)有大學(xué)學(xué)位的 18-25 歲拉丁裔女性提供貸款，人工智能可能會(huì)了解到符合這些標(biāo)準(zhǔn)的申請(qǐng)人拖欠貸款的風(fēng)險(xiǎn)更高，無(wú)論是否有其他有利條件標(biāo)準(zhǔn)。在這里，不可預(yù)測(cè)性也會(huì)出現(xiàn)，但這是一個(gè)很好的例子，說(shuō)明為什么能夠準(zhǔn)確、完整地解釋決策很重要。

不可理解

如果抵押貸款拒絕得到完整和準(zhǔn)確的解釋，解釋是否可以理解？可理解性在某種程度上是相對(duì)于個(gè)人的；擁有金融學(xué)位或在抵押貸款行業(yè)擁有多年經(jīng)驗(yàn)的人會(huì)比沒(méi)有類似領(lǐng)域智慧的人更（或更容易）理解準(zhǔn)確和完整的解釋。也就是說(shuō)，考慮到一百萬(wàn)個(gè)不同加權(quán)因素的系統(tǒng)的詳細(xì)響應(yīng)對(duì)于人類來(lái)說(shuō)是不可理解的，因?yàn)槲覀儧](méi)有存儲(chǔ)容量、內(nèi)存和理解那么多相互關(guān)聯(lián)的變量的能力。

對(duì)安全人工智能的影響

不可預(yù)測(cè)性、不可解釋性和不可理解性使得實(shí)現(xiàn) 100% 安全的 AI 變得不可能，因?yàn)榧词故羌榷ǖ臉?biāo)準(zhǔn)、法律和工具也無(wú)法適當(dāng)?shù)毓膭?lì)或阻止不必要的影響。即使我們能夠預(yù)測(cè) AI 行為，我們也無(wú)法在不限制智能或系統(tǒng)價(jià)值的情況下有效地控制行為。當(dāng)然，評(píng)估和調(diào)試 AI 故障需要易于理解的解釋，隨著機(jī)器智能的增加，這種解釋變得越來(lái)越不可能。接下來(lái)，第 5 部分探討了 AI 安全將如何影響工程領(lǐng)域。

審核編輯hhy