如何應(yīng)對(duì)并解決可能出現(xiàn)的智能體失控問(wèn)題

隨著人工智能(AI) 技術(shù)和應(yīng)用的普及，人們對(duì)于AI的認(rèn)識(shí)不再只是一種智能機(jī)器。近日，麻省理工的研究團(tuán)隊(duì)構(gòu)建了一個(gè)有精神病傾向的AI智能體，它表現(xiàn)得就像我們?nèi)祟愐粯樱兄约呵楦泻腿烁?。通常，我們只能在一些科幻作品中看到這種人工智能體，也見(jiàn)識(shí)過(guò)人工智能失控的可怕場(chǎng)景，在現(xiàn)實(shí)中我們?cè)撊绾螒?yīng)對(duì)并解決可能出現(xiàn)的智能體失控問(wèn)題呢。

近日，堪薩斯州立大學(xué)的研究人員從精神病理學(xué)的角度回答了這個(gè)問(wèn)題。他們稱之為“人格障礙治療”：通過(guò)矯正訓(xùn)練來(lái)試圖改變?nèi)祟惖男袨槟Ｊ剑煌ㄟ^(guò)藥物療法操縱外部的獎(jiǎng)勵(lì)信號(hào)以從根本上改變AI智能體的行為方式。該研究主要分為三步驟進(jìn)行，具體來(lái)看他們的論文：

▌?wù)?/p>

由于人工智能( AI )技術(shù)的動(dòng)態(tài)復(fù)雜性已經(jīng)逐漸接近那些復(fù)雜的自適應(yīng)系統(tǒng)，因此這一定程度上削弱了AI在安全性工程領(lǐng)域的可行性、可控性和可達(dá)性。由此可見(jiàn)，對(duì)于通用人工智能( AGI )的實(shí)例設(shè)想也將同樣面臨這種復(fù)雜性的挑戰(zhàn)。為了解決這些問(wèn)題，我們將AI和AGI中的不良行為視為心理障礙，通過(guò)建模的方式，從精神病理學(xué)的角度分析并控制這些不良行為。相應(yīng)地，我們進(jìn)一步討論了這種精神病理學(xué)方法在AI、AGI安全工程方面的可行性，并為AGI中心理疾病的研究建模，診斷和治療提供了一種通用的方法。

▌簡(jiǎn)介

雖然人類認(rèn)知的自適應(yīng)機(jī)制為其適應(yīng)動(dòng)態(tài)環(huán)境提供了獨(dú)特的手段，但是這也容易產(chǎn)生心理紊亂問(wèn)題，這是一種被廣泛定義為對(duì)自我或社會(huì)生態(tài)系統(tǒng)的核心和長(zhǎng)期目標(biāo)會(huì)產(chǎn)生危害的自我重構(gòu)行為。根據(jù)這一現(xiàn)象不難推斷，具有類似認(rèn)知能力的通用人工智能( AGI )實(shí)例也可能容易引發(fā)這種疾病。例如，某些目標(biāo)功能和環(huán)境條件在重復(fù)的高回報(bào)獎(jiǎng)勵(lì)策略下，可能會(huì)導(dǎo)致強(qiáng)化學(xué)習(xí)( RL )的代理得以發(fā)展一些成癮的行為，這違反了代理長(zhǎng)期的目標(biāo)策略。此類突發(fā)性疾病的其他情況還包括創(chuàng)傷后行為，抑郁癥和精神病等。

目前對(duì)于人工智能(AI)安全研究主要集中在安全意識(shí)設(shè)計(jì)及其緩解技術(shù)，但隨著AI、AGI復(fù)雜性的不斷擴(kuò)大，將使得這種疾病分析會(huì)像生物智能分析一樣困難。要解決人類智能方面的難題，我們需要從神經(jīng)科學(xué)、認(rèn)知科學(xué)再到心理學(xué)，精神病學(xué)，社會(huì)學(xué)和犯罪學(xué)等各種抽象層面，去研究不良行為的原因和動(dòng)態(tài)。本文，我們建議使用精神病理學(xué)的方法來(lái)研究AI和AGI中的疾病問(wèn)題，提供其中的技術(shù)討論和動(dòng)機(jī)，并建立二者之間的并行性。

▌精神病理學(xué)

精神病理學(xué)是指對(duì)精神障礙的起因及其相關(guān)治療手段的科學(xué)研究。在這種背景下，引用美國(guó)精神病學(xué)協(xié)會(huì)( APA )對(duì)精神障礙的定義：精神障礙是一種在“心理學(xué)”與痛苦，殘疾相關(guān)的心理綜合癥，它可能會(huì)增加相關(guān)的綜合癥或模式死亡風(fēng)險(xiǎn)或重大自治權(quán)喪失(如追求目標(biāo))的幾率。在精神病理學(xué)中，精神障礙通常由四種異常指標(biāo)所決定，被稱為四個(gè)Ds：行為和情感的偏離規(guī)范，由疾病引發(fā)的個(gè)體痛苦、損害個(gè)體正常功能的機(jī)體障礙或機(jī)能失調(diào)，以及個(gè)人對(duì)自身或社會(huì)的危險(xiǎn)。

導(dǎo)致人類精神出現(xiàn)障礙的原因，包括遺傳的混合物(如神經(jīng)質(zhì))，父母虐待行為對(duì)個(gè)體發(fā)育的影響，社會(huì)影響(如虐待，欺凌行為)和創(chuàng)傷事件，以及一些生物學(xué)影響(如創(chuàng)傷性腦損傷和感染)等。

目前，人們普遍認(rèn)為，理解心理障礙需要全面考慮生物和社會(huì)因素的影響，因此生物心理社會(huì)學(xué)模型通常被用來(lái)研究這種現(xiàn)象。這些模型將精神障礙廣泛地分為認(rèn)知障礙或行為障礙。認(rèn)知障礙是由潛在認(rèn)知機(jī)制所引發(fā)的的異常功能引，而行為障礙是通過(guò)發(fā)展，環(huán)境和社會(huì)互動(dòng)所學(xué)到的。

精神障礙的診斷通?；趯?duì)癥狀及構(gòu)成各種疾病類型障礙的評(píng)估。一個(gè)用于全面評(píng)估精神障礙的框架是由美國(guó)精神病學(xué)家出版協(xié)會(huì)( APA )發(fā)布的診斷和統(tǒng)計(jì)精神疾病手冊(cè)( DSM )。本手冊(cè)提供了通用語(yǔ)言和標(biāo)準(zhǔn)的精神障礙分類標(biāo)準(zhǔn)。此外，最近隨著機(jī)器學(xué)習(xí)的進(jìn)展，各種軟件和算法工具也被研發(fā)并用于幫助提高精神障礙的分類和診斷準(zhǔn)確性。

此外，精神障礙的治療通常是一種或兩種方法的混合。一種是心理治療，這是通過(guò)一系列心理學(xué)技巧進(jìn)行認(rèn)為干預(yù)的一種形式。藥物治療是另一種針對(duì)性的方法，還可以二者的混合來(lái)治療精神障礙。

▌精神病理學(xué)與AI安全性

圖1 AI和AGI與精神病理學(xué)的關(guān)系

如上圖1所示，我們建立精神病理學(xué)與AI、AGI之間的關(guān)系，并從建模與驗(yàn)證，診斷，及治療三個(gè)主要領(lǐng)域進(jìn)行研究。

建模與驗(yàn)證

考慮到人類精神病理學(xué)與AI之間存在可描述的相似性，為了打開(kāi)AI安全性研究的大門，我們需要以一種工程的方式，建立數(shù)學(xué)模型，研究并驗(yàn)證其中的相似性。在認(rèn)知和醫(yī)學(xué)科學(xué)領(lǐng)域已存在一些精神障礙的動(dòng)力學(xué)模型，在這里我們對(duì)這些疾病進(jìn)行定量分析和探索，并基于神經(jīng)經(jīng)濟(jì)學(xué)，復(fù)雜適應(yīng)系統(tǒng)，控制理論和動(dòng)態(tài)數(shù)據(jù)驅(qū)動(dòng)的范例，開(kāi)發(fā)新的AI和AGI模型。

此外，為了驗(yàn)證模型并確保隨后理論的正確性，我們還需要開(kāi)發(fā)實(shí)驗(yàn)框架和仿真平臺(tái)。在任意的、獨(dú)立的上下文情景中，這些平臺(tái)必須能夠提供廣泛實(shí)驗(yàn)的手段，對(duì)出現(xiàn)的動(dòng)態(tài)行為和認(rèn)知疾病進(jìn)行分析，并且還能夠兼容各種不同的代理和環(huán)境模型。

疾病的診斷與分類

這部分主要是用于研究并開(kāi)發(fā)人工智能障礙得診斷技術(shù)。在人工智能安全工程的背景下，診斷指的是兩個(gè)相互關(guān)聯(lián)的任務(wù)：第一個(gè)是異常行為的檢測(cè)，第二個(gè)是對(duì)檢測(cè)到的異常行為進(jìn)行分類治療。因此，我們需要開(kāi)發(fā)相應(yīng)的機(jī)器學(xué)習(xí)方法來(lái)診斷并對(duì)疾病進(jìn)行分類處理。

此外，在仿真訓(xùn)練相關(guān)疾病和注釋情景下，我們還可以從模型中學(xué)習(xí)到不良行為的通用指標(biāo)。一旦模型檢測(cè)到錯(cuò)誤行為，下一步就是進(jìn)行特征化并對(duì)導(dǎo)致這種行為的疾病進(jìn)行分類。然而，這個(gè)過(guò)程的先決條件是需要一系列不同的疾病和相應(yīng)的診斷標(biāo)準(zhǔn)。因此，我們還需要匯編一些有代表性和經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證的疾病。

疾病治療

當(dāng)AI代理診斷出疾病時(shí)，簡(jiǎn)單地停用或重置代理的做法并不總是可行的。在這種情況下，我們希望代理能夠傾向于通過(guò)最小破壞性的技術(shù)去治療糾正錯(cuò)誤的行為，同時(shí)保留代理所學(xué)到的有用特征。這樣的治療需要滿足一些具有挑戰(zhàn)性的要求。

高級(jí)的AI代理通常都是很復(fù)雜的自適應(yīng)系統(tǒng)，因此可能其中一個(gè)組件的微小擾動(dòng)可能都會(huì)導(dǎo)致局部或整體產(chǎn)生意想不到的后果。因此，有效的治療手段必須是完全微創(chuàng)或非侵入性。受精神病理學(xué)相似性的啟發(fā)，我們提出了兩種一般方法治療疾病。一種是矯正訓(xùn)練，這是采用行為療法的一種方式。

這種方法是需要在特定的環(huán)境或情境下重新訓(xùn)練我們的代理，以便通過(guò)新的學(xué)習(xí)經(jīng)驗(yàn)去糾正或緩解有害的行為。第二種方法與藥物治療類似，AI代理的獎(jiǎng)勵(lì)信號(hào)是通過(guò)外部手段人為地操縱并調(diào)整它們的行為策略。

▌結(jié)論

當(dāng)前對(duì)于AI安全性的研究主要側(cè)重于設(shè)計(jì)和緩解問(wèn)題，AI和AGI的復(fù)雜性將使得這種分析變得困難?？紤]到診斷并治療AI、AGI中實(shí)際目標(biāo)的不良行為，我們提出采用精神病理學(xué)的方法研究AI、AGI的安全性工程。

我們依次介紹了AI、AGI安全性工程，分析了人類疾病與精神病理學(xué)之間的相似之處，并建立精神病理學(xué)與AI、AGI安全性之間的關(guān)系，提出了包括建模與驗(yàn)證、診斷與分類，及疾病治療的三步驟方案，打開(kāi)了安全性工程的研究大門。我們希望本文的研究能夠?yàn)槲磥?lái)的研究和發(fā)展奠定堅(jiān)實(shí)的基礎(chǔ)。