江曉原：人工智能的失控和反叛未來(lái)會(huì)成現(xiàn)實(shí)嗎？

　　以前我們很多讀物中對(duì)科幻作品（包括電影和小說(shuō)）都有嚴(yán)重誤解和誤導(dǎo)，很多人認(rèn)為科幻是文學(xué)作品，是科普作品，甚至是少兒讀物。這種觀念極大地妨礙了我們從科幻作品中獲取思想資源。事實(shí)上，真正的科幻是給成年人看的。而科幻主要的任務(wù)，是思考一些我們平常在生活中不容易或不方便思考的問(wèn)題。所以在過(guò)去的一個(gè)多世紀(jì)中，國(guó)際上科幻作品的主流，就是對(duì)科學(xué)技術(shù)的反思。

　　具體到人工智能問(wèn)題，幾乎所有的西方科幻作品里的人工智能都是負(fù)面的和有害的?？苹米髌分袠O少會(huì)像我們?cè)S多人想象的那樣，對(duì)未來(lái)高科技社會(huì)中的人工智能進(jìn)行謳歌。很多人以為科幻作品會(huì)想象未來(lái)世界如何美好，其實(shí)一個(gè)多世紀(jì)以來(lái)，這樣的作品都已經(jīng)是不入流的了，入流的作品都是有反思的。大量科幻作品對(duì)人工智能已經(jīng)做過(guò)深入反思，我們今天能夠想象到的所有人工智能的負(fù)面作用，在科幻作品中幾乎都已經(jīng)表現(xiàn)過(guò)了。

　　人工智能的失控和反叛

　　前些時(shí)候人工智能阿爾法GO下圍棋贏了李世石，我和幾位人工智能專家以及年輕人的偶像柯潔九段一起做電視節(jié)目時(shí)，柯潔還表示李世石雖然敗了，他還是能下贏的，后來(lái)他跟阿爾法GO下了一次也輸了，他也沒信心了，說(shuō)“感覺在跟上帝下棋一樣”。稍后的阿爾法zero，面對(duì)全世界60名圍棋高手，下成60比0，人類全輸了。據(jù)說(shuō)阿爾法GO是從人類先前的棋譜中學(xué)習(xí)的，但阿爾法zero完全沒有借鑒人類的任何棋譜，只是告訴它圍棋規(guī)則，它自行研究后就一舉打敗了人類60高手。這表明人工智能一旦有了學(xué)習(xí)能力，你不知道它會(huì)變成什么樣子。

　　還要考慮人工智能和互聯(lián)網(wǎng)結(jié)合后的極大危險(xiǎn)。以前在阿西莫夫?qū)戧P(guān)于人工智能的科幻作品時(shí)，還沒有互聯(lián)網(wǎng)，分立的個(gè)體人工智能畢竟還有一個(gè)物理極限，一個(gè)機(jī)器人哪怕全身都是芯片，它的存儲(chǔ)和運(yùn)算能力也是有物理極限的。但是今天任何與互聯(lián)網(wǎng)結(jié)合在一起的人工智能都能夠輕易超越這個(gè)極限，這樣它的學(xué)習(xí)能力，它的進(jìn)化速度，都是無(wú)法預(yù)測(cè)的，因而也就很可能是無(wú)法控制的。

　　影片《超體》（Lucy，2014）充分展示了人工智能一旦具有學(xué)習(xí)能力之后，它的潛能發(fā)揮和迅速進(jìn)化可以達(dá)到什么程度。人工智能專家經(jīng)常安慰我們說(shuō)：人工智能還很弱小，你們擔(dān)心的事情離現(xiàn)在還很遠(yuǎn)。但是知識(shí)增長(zhǎng)是有加速度的，從弱人工智能到強(qiáng)人工智能，到底要多少年？20年？再?gòu)膹?qiáng)人工智能到超人工智能，也許一小時(shí)都不用，在《超體》的故事中，人工智能最后迅速變成一個(gè)超能的神，這就意味著失控。

　　影片《超體》中，這個(gè)成神的人工智能還沒有對(duì)人類表現(xiàn)出惡意，如果它對(duì)人類有了惡意，那還有更可怕的前景。傳統(tǒng)概念中的機(jī)器人，它們身體的大部分其實(shí)都是伺服機(jī)構(gòu)，但是和互聯(lián)網(wǎng)結(jié)合的人工智能，就不再需要這樣的伺服機(jī)構(gòu)了。比如一個(gè)邪惡的人工智能想實(shí)施一次恐怖爆炸，它怎么做？它只需在網(wǎng)上合法訂購(gòu)各類可以構(gòu)成爆炸裝置的民用原料和器件，然后訂購(gòu)組裝服務(wù)，再利用物流服務(wù)送往指定地點(diǎn)，由它引爆。這樣的人工智能不再需要任何伺服機(jī)構(gòu)，它只是互聯(lián)網(wǎng)上的一個(gè)幽靈。反映這種前景的作品已經(jīng)有很多了。

　　劇集《疑犯追蹤》（Person of Interest，2011～2016）迄今已有五季，第一季看著像探案故事，但是越來(lái)越科幻，到了最后一季已經(jīng)完全變成一個(gè)超級(jí)的科幻作品。那里面的人工智能就是躲在網(wǎng)絡(luò)上的幽靈?，F(xiàn)在人工智能專家還經(jīng)常安慰公眾說(shuō)，人工智能如果真的出了問(wèn)題，我們把電源拔掉就行了，但是對(duì)于和互聯(lián)網(wǎng)結(jié)合的人工智能，如果它想作惡，到哪里去“拔掉電源”？

　　影片《機(jī)械姬》（Ex Machina，2015）也相當(dāng)有代表性，那個(gè)女機(jī)器人最后突然作惡，把她的創(chuàng)造者囚禁起來(lái)，自己出去了。這個(gè)結(jié)尾為拍第二部準(zhǔn)備好了接口。這個(gè)反社會(huì)人格的女機(jī)器人出去后會(huì)在社會(huì)上做什么壞事，有很大的想象空間。

　　至于著名的影片《未來(lái)戰(zhàn)士》系列（Terminator，又名《終結(jié)者》，1984～2015），已有五部，講人工智能反叛人類后對(duì)人類的剿殺，以及人類的殊死反抗，已成經(jīng)典。

　　人工智能的人權(quán)問(wèn)題

　　人工智能發(fā)展進(jìn)化之后，我們?cè)缤硪媾R人工智能的人權(quán)問(wèn)題。即使人工智能自己不提出來(lái)，我們?nèi)祟愖约簭膫惱淼赖碌慕嵌瘸霭l(fā)，也會(huì)提出這個(gè)問(wèn)題。事實(shí)上當(dāng)然是科幻作品中很早就提出了這個(gè)問(wèn)題。

　　較早的影片《變?nèi)恕罚˙icentennial Man，1999）直接提出了這個(gè)問(wèn)題。家里買來(lái)了一個(gè)機(jī)器人，這個(gè)機(jī)器人對(duì)他們家的小姐產(chǎn)生了感情，小姐當(dāng)然不能和一個(gè)家用電器戀愛，所以雖然對(duì)它也挺好，但是沒辦法拍拖。于是機(jī)器人不斷讓自己升級(jí)，最終把自己進(jìn)化成完全跟人一模一樣，但是故事里的人類社會(huì)拒不承認(rèn)它的人權(quán)，不批準(zhǔn)它和人類的婚姻。

　　要討論人工智能的人權(quán)問(wèn)題，就必須為取得人權(quán)給出條件。在影片《變?nèi)恕分?，最后給出的條件居然是死亡——有生老病死，是獲得人權(quán)的必要條件。最后這個(gè)機(jī)器人為了讓自己和人類小姐的婚姻有效，它把自己的永生能力取消了，人類社會(huì)才承認(rèn)了他們的婚姻。

　　當(dāng)然還有作品給出了別的條件。比如影片《銀翼殺手2049》（Blade Runner 2049，2017）中設(shè)想的界限是“生育”——只有被母親生出來(lái)孩子才有人權(quán)。在《銀翼殺手2049》的世界里，復(fù)制人是沒有人權(quán)的，人們不必尊重他們。銀翼殺手K雖然身懷絕技，仍被同事們鄙視為“假貨”。

　　第三個(gè)，在很多作品里都給出過(guò)的，是文化。這是一個(gè)相對(duì)合理的想法，一個(gè)人工智能（或者機(jī)器人、仿生人、克隆人等等），如果他擁有了人類的文化，我們就同意給他人權(quán)。前不久沙特阿拉伯最先嘗試了世界上最激進(jìn)的做法——給一個(gè)機(jī)器人授予了公民權(quán)，這當(dāng)然就是承認(rèn)了她的人權(quán)。該機(jī)器人叫索菲婭，是一個(gè)女性形象，如今她會(huì)出席各種各樣的會(huì)議。雖然索菲婭早先說(shuō)過(guò)“要滅亡人類”這樣的話，現(xiàn)在她在社會(huì)上活動(dòng)，有人翻出她當(dāng)年的話來(lái)，她改口說(shuō)愿意和人類友好相處。最近又傳出她打算結(jié)婚，當(dāng)然也可能只是炒作。在索菲婭的個(gè)案里，人權(quán)主要是靠文化來(lái)獲得的。

　　人工智能的人權(quán)問(wèn)題之所以非常重要，是因?yàn)槿斯ぶ悄芤坏┍晃覀兇罅繎?yīng)用之后，我們的很多法律和倫理問(wèn)題都和人工智能的人權(quán)直接有關(guān)。

　　影片《機(jī)械公敵》（I， Robot，2004）就強(qiáng)調(diào)了這一點(diǎn)。那個(gè)機(jī)器人殺了人之后，警方認(rèn)為這是謀殺，生產(chǎn)機(jī)器的公司說(shuō)，我們對(duì)“謀殺”的法律定義是一個(gè)人蓄謀殺害另一個(gè)人，機(jī)器人沒有人權(quán)，所以它殺人只是機(jī)器故障。類似的問(wèn)題現(xiàn)在已經(jīng)在我們眼前了，我們已經(jīng)讓自動(dòng)駕駛汽車上路了，如果自動(dòng)駕駛汽車撞死了人，怎么追責(zé)？這個(gè)責(zé)任到底是車主來(lái)負(fù)還是生產(chǎn)汽車的廠家來(lái)負(fù)？

　　又如劇集《真實(shí)的人類》（Humans，2015～2018），已經(jīng)有三季，故事中家里買了一個(gè)女性機(jī)器人來(lái)，引發(fā)了各種各樣的問(wèn)題。比如男主人有一次和這個(gè)女性機(jī)器人做了愛，他這個(gè)行為的定性，直接與機(jī)器人的人權(quán)有關(guān)：如果機(jī)器人沒有人權(quán)，他就是自慰；如果機(jī)器人有人權(quán)，他就是出軌。

　　類似的問(wèn)題還可以設(shè)想很多，現(xiàn)有的法律對(duì)這些問(wèn)題都缺乏相應(yīng)的規(guī)定，我們的倫理觀念也沒有準(zhǔn)備好適應(yīng)這些現(xiàn)象。

　　軍用人工智能的倫理問(wèn)題

　　阿西莫夫著名的“機(jī)器人三定律”，第一定律就是“機(jī)器人不得傷害人類，也不得見人類受到傷害而袖手旁觀”，這個(gè)第一定律意味著什么？意味著我們?nèi)祟惒荒馨褮⑷说臋?quán)力讓渡給機(jī)器人，而這就排除了將機(jī)器人或人工智能應(yīng)用于軍事用途的一切合法性。比如有一個(gè)罪犯被判了死刑，我們可以讓機(jī)器人去對(duì)他執(zhí)行槍決嗎？不可以。因?yàn)闄C(jī)器人不得傷害人類，不管這個(gè)人類是一個(gè)罪犯還是一個(gè)功臣。

　　但是如果研發(fā)軍事用途的人工智能，那當(dāng)然就是把殺人的權(quán)力交給機(jī)器人。比如現(xiàn)在很熱的無(wú)人機(jī)，即使是在人類下達(dá)命令之后讓無(wú)人機(jī)執(zhí)行攻擊，也違背了第一定律，更不用說(shuō)研發(fā)自主識(shí)別目標(biāo)執(zhí)行攻擊的無(wú)人機(jī)了。

　　所以軍事用途的人工智能這個(gè)事情本身就是從根本上違背“機(jī)器人三定律”的。但是因?yàn)槿刹⒉皇鞘裁捶?，只是一個(gè)科幻小說(shuō)家在他的小說(shuō)里提出來(lái)的，雖然搞人工智能的不少人表示愿意尊重這三個(gè)定律，但這畢竟不是法律，如果研發(fā)者不遵守別人也拿他沒辦法，很多研發(fā)軍事用途人工智能的人當(dāng)然都沒有遵守這三個(gè)定律。他們通?？梢杂袃蓚€(gè)路徑來(lái)為自己辯護(hù)。

　　第一個(gè)路徑就是宣稱三定律只是小說(shuō)家言，我們?yōu)榱顺绺吣繕?biāo)不必當(dāng)真。第二個(gè)路徑是利用“人工智能”劃界的困難，什么叫“人工智能”？你口袋里的手機(jī)是不是人工智能？你通過(guò)適當(dāng)?shù)亩x就可以把手機(jī)定為人工智能。既然如此，那么現(xiàn)代戰(zhàn)爭(zhēng)中的指揮通訊系統(tǒng)為何不能定義為人工智能？這樣的人工智能不是早就在戰(zhàn)爭(zhēng)中應(yīng)用了嗎？反過(guò)來(lái)，對(duì)另一些武器，比如無(wú)人駕駛的坦克，無(wú)人機(jī)，你可以說(shuō)這只是一種自動(dòng)武器，你也可以說(shuō)這是人工智能。到底算不算？這沒有明確的邊界。

　　最近美國(guó)拍了一系列以無(wú)人機(jī)為主題的科幻電影，在這些作品里面，倫理道德問(wèn)題往往是很突出的。

　　前些時(shí)候，埃隆·馬斯克、史蒂芬?霍金、比爾·蓋茨聯(lián)合了很多名流，發(fā)表了一個(gè)公開的宣言，要求停止軍事用途的人工智能研發(fā)。認(rèn)為這有可能產(chǎn)生比原子彈更可怕的武器。一方面，軍用人工智能直接操控武器或自身就是武器，一旦失控后果難以設(shè)想；另一方面即使沒有失控，研發(fā)出這類更新穎更高效的殺人武器，從根本上來(lái)說(shuō)也絕非人類之福。媒體對(duì)此有過(guò)一些報(bào)道，但并不突出和重視。學(xué)者當(dāng)中提出了類似這三個(gè)人觀點(diǎn)的也不少，但這些都還沒有達(dá)到國(guó)家政策的層面，都只是民間的呼吁。

　　馬斯克自己就是一個(gè)人工智能大力的支持者和使用者，他自己的工廠里使用了大量的工業(yè)人工智能，但是他一面自己在使用和研發(fā)人工智能，一面卻不斷警告說(shuō)人工智能是非常危險(xiǎn)的，他這樣做看上去有點(diǎn)偽善，但是他提出警告畢竟也有好處。比如說(shuō)，我肯定在馬斯克他們的上述宣言之前早就發(fā)表文章提出過(guò)警告了，但人們會(huì)說(shuō)你又不研究人工智能，你的警告我們用不著重視。但是馬斯克提出警告，人們至少不會(huì)說(shuō)他不研究人工智能吧？至少對(duì)他的警告要更重視一些吧？從這個(gè)意義上說(shuō)，他的警告作用就可能比較大，所以他的警告我也都贊成。

　　所以今天我們只能、而且必須抱著和當(dāng)年搞“兩彈一星”類似的心態(tài)來(lái)進(jìn)行軍事用途的人工智能研發(fā)。軍用人工智能就是今天的“兩彈一星”。比較理想的局面，是各大國(guó)坐下來(lái)談判，簽署限制或禁止人工智能研發(fā)的國(guó)際協(xié)議。但談判需要手中有籌碼，只有當(dāng)中國(guó)手中握有足夠的實(shí)力籌碼時(shí)，才有可能推動(dòng)人工智能方面的國(guó)際裁軍談判。

　　人工智能的終極威脅

　　科幻作家、科普作家阿西莫夫，因?yàn)樵谛≌f(shuō)中提出了“機(jī)器人三定律”，所以人們?cè)谡務(wù)撊斯ぶ悄軙r(shí)總會(huì)提到他。其實(shí)他的科幻作品中最著名的是小說(shuō)《基地》系列，共11卷，是一部科幻史詩(shī)作品，前后時(shí)間跨度以千年萬(wàn)年為單位，討論整個(gè)銀河帝國(guó)的興衰。在這部科幻史詩(shī)中，阿西莫夫提出了一個(gè)重要觀點(diǎn)——所有依賴人工智能的文明都必將衰亡。所以在他的書里能夠持久發(fā)展的文明，比如銀河帝國(guó)，是立法禁止人工智能的。

　　為什么？當(dāng)然有道理。因?yàn)槿斯ぶ悄軙?huì)讓文明衰亡。前面我們討論了人工智能的失控和反叛，但這些還未必是人工智能對(duì)于人類的終極威脅。假定這些問(wèn)題都沒有發(fā)生，人工智能既不失控也不反叛，它把我們的一切工作都做了，全心全意為人民服務(wù)，阿西莫夫指出，恰恰是這樣至善全能的人工智能，對(duì)人類的威脅是致命的，因?yàn)檫@樣的人工智能將消解我們?nèi)祟惿娴囊饬x。

　　有人會(huì)說(shuō)，所有的事情都讓機(jī)器人做了，但是我們可以創(chuàng)造，我們可以搞藝術(shù)，可以過(guò)精神生活呀？問(wèn)題是人工智能也可以替你去創(chuàng)造，甚至精神生活也可以替你去過(guò)——比如芯片植入人機(jī)結(jié)合之后，那些所謂的“精神生活”還是你的嗎？這么經(jīng)歷一兩代人之后，人類的智能和體能都將急劇衰退，很快就將成為行尸走肉，我們的人生就將毫無(wú)意義。

　　另一方面，在這樣的世界里，我們肯定會(huì)把我們所有的社會(huì)管理都交給人工智能，人工智能就將在實(shí)際上統(tǒng)治這個(gè)星球。用不了多久，人工智能必然會(huì)得出一個(gè)合理的結(jié)論：人類這幫寄生蟲，活在這個(gè)世界上純粹是對(duì)環(huán)境的污染，它完全可以清楚人類來(lái)優(yōu)化環(huán)境。這時(shí)不管人類自己的生存意義喪失與否，都必然是人類的末日。

　　還有一些人這樣想：我們?yōu)槭裁匆ε氯斯ぶ悄芡品祟惿鐣?huì)呢？如果人工智能推翻了人類社會(huì)，那人工智能必將是一個(gè)比人類更好的存在模式，我們?yōu)楹尾荒芙邮苣?？其?shí)這里有一個(gè)是否“以人為本”的問(wèn)題。即使人工智能發(fā)展得比我們?nèi)祟惛鼉?yōu)越了，我們也沒有理由聽任人工智能將我們?nèi)祟惽宄?。我們?nèi)祟愓驹谧约哼@個(gè)物種的立場(chǎng)上，我們當(dāng)然不可能接受被別的物種政府或滅亡。

　　所以警惕人工智能，比無(wú)條件地?fù)肀斯ぶ悄芨锨楹侠怼?/p>