Open AI首席科學(xué)家：ChatGPT可能已經(jīng)有了意識，AI將萬世不朽

編者注：

OpenAI首席科學(xué)家Ilya Sutskever的X賬號可能是科技界名人里最特別的那種，他極少分享自己的個(gè)人生活，除了轉(zhuǎn)發(fā)公司產(chǎn)品鏈接，他的推文通常都是一些零碎的閃念和思考：“自我是成長的敵人”；“GPU就是新時(shí)代的比特幣”；“如果你把智力看得比人類所有其他品質(zhì)都重要，那么你會過得很糟糕”；“生活和商業(yè)中的同理心被低估了”；“完美毀掉了很多完美的好東西。”

更多時(shí)候，是為（通用人工智能）AGI站臺，正如他的X簽名：“通往復(fù)數(shù)的人性，喜歡AGI們”（towards a plurality of humanity loving AGIs）。

他在現(xiàn)實(shí)生活里同樣如此，Sutskever不熱衷社交，很少在媒體前拋頭露面。唯一能讓他感到興奮的東西，就是人工智能。

近期，Ilya Sutskever接受了《麻省理工科技評論》記者Will Douglas Heaven專訪，他在采訪中談到了OpenAI早年的創(chuàng)業(yè)史、實(shí)現(xiàn)AGI的可能性，還介紹了OpenAI未來在管控“超級智能”方面的計(jì)劃，他希望讓未來的超級智能，可以像父母看待孩子那樣看待人類。

以下為正文：

伊爾亞·蘇茨克維（Ilya Sutskever）低頭沉思。他雙臂張開，手指放在桌面上，就像音樂會上即將彈奏第一個(gè)音符的鋼琴家。我們靜靜地坐著。

我是來和OpenAI的聯(lián)合創(chuàng)始人兼首席科學(xué)家Sutskever會面的，他的公司位于舊金山傳教區(qū)一條不起眼的街道上，辦公樓沒有任何標(biāo)志，我想聽聽他一手打造的這項(xiàng)顛覆世界的技術(shù)的下一步計(jì)劃。我還想知道他的下一步計(jì)劃，尤其是，為什么建立他公司的下一代旗艦生成模型不再是他的工作重點(diǎn)。

Sutskever告訴我，他的新工作重點(diǎn)不是制造下一代GPT或圖像制造機(jī)DALL·E，而是研究如何阻止AGI（他認(rèn)為這是一種假想的未來技術(shù)）的失控。

Sutskever還告訴了我很多其他事情。他認(rèn)為ChatGPT可能有意識（如果你瞇起眼睛仔細(xì)看的話）。他認(rèn)為，世界需要清醒地認(rèn)識到他的公司和其他公司正在努力創(chuàng)造的技術(shù)的真正威力。他還認(rèn)為，總有一天人類會選擇與機(jī)器融合。

Sutskever說的很多話都很瘋狂，但不像一兩年前聽起來那么瘋狂。正如他自己告訴我的那樣，ChatGPT已經(jīng)改寫了很多人對未來的預(yù)期，把"永遠(yuǎn)不會發(fā)生"變成了"會比你想象的更快發(fā)生"。

他說：

“重要的是要討論這一切的方向?！?/p>

他在預(yù)測AGI（通用人工智能，像人類一樣聰明的AI）的未來時(shí)，仿佛它就像另一部iPhone一樣信心滿滿：

“總有一天，AGI會實(shí)現(xiàn)。也許來自O(shè)penAI。也許來自別的公司?！?/p>

自去年11月發(fā)布紅極一時(shí)的新產(chǎn)品ChatGPT以來，圍繞OpenAI的討論一直令人印象深刻，即使在這個(gè)以炒作著稱的行業(yè)也是如此。沒有人不會對這家市值800億美元的初創(chuàng)公司感到好奇。世界各國領(lǐng)導(dǎo)人尋求（且得到）和CEO Sam Altman私人會面。ChatGPT這個(gè)笨拙的產(chǎn)品名稱在閑聊中不時(shí)出現(xiàn)。

今年夏天，OpenAI的首席執(zhí)行官Sam Altman花了大半個(gè)夏天的時(shí)間，進(jìn)行了長達(dá)數(shù)周的外聯(lián)之旅，與政客們親切交談，并在世界各地座無虛席的會場發(fā)表演講。但Sutskever并不像他那樣是個(gè)公眾人物，他也不經(jīng)常接受采訪。

他說話時(shí)深思熟慮，有條不紊。他會停頓很長時(shí)間，思考自己想說什么、怎么說，把問題像解謎一樣反復(fù)推敲。他似乎對談?wù)撟约翰桓信d趣。

他說：

“我的生活很簡單。我去上班，然后回家。我不做其他事情。一個(gè)人可以有很多社交，可以參加很多活動，但我不會?！?/p>

但當(dāng)我們談到人工智能，談到他所看到的劃時(shí)代的風(fēng)險(xiǎn)和回報(bào)時(shí)，他的眼睛亮了起來：

“AI將萬世不朽、震撼整個(gè)世界。它的誕生如同開天辟地?！?/p>

越來越好，越來越好

在一個(gè)沒有OpenAI的世界里，Sutskever仍將載入人工智能史冊。作為一名以色列裔加拿大人，他出生在前蘇聯(lián)，但從五歲起就在耶路撒冷長大（他至今仍能說俄語、希伯來語和英語）。之后，他移居加拿大，在多倫多大學(xué)師從人工智能先驅(qū)杰弗里·辛頓（Geoffrey Hinton）。(Sutskever不想對辛頓的言論發(fā)表評論，但他對超級智能災(zāi)難的關(guān)注表明他們是同道中人）。

辛頓后來與楊立昆（Yann LeCun）和約書亞·本吉奧（Yoshua Bengio）分享了圖靈獎，以表彰他們在神經(jīng)網(wǎng)絡(luò)方面的研究成果。但當(dāng)Sutskever在2000年代初加入他的團(tuán)隊(duì)時(shí)，大多數(shù)人工智能研究人員都認(rèn)為神經(jīng)網(wǎng)絡(luò)是一條死胡同。辛頓是個(gè)例外。

Sutskever說：

“這就是生成式人工智能的開端。真的很酷，只是還不夠好?！?/p>

Sutskever對大腦非常著迷：它們是如何學(xué)習(xí)的？以及如何在機(jī)器中重新創(chuàng)建或至少模仿這一過程？和辛頓一樣，他看到了神經(jīng)網(wǎng)絡(luò)的潛力，以及辛頓用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的試錯(cuò)技術(shù)，即深度學(xué)習(xí)。Sutskever說：“它變得越來越好，越來越棒?！?/p>

2012年，Sutskever、Hinton和Hinton的另一名研究生Alex Krizhevsky建立了一個(gè)名為AlexNet的神經(jīng)網(wǎng)絡(luò)，經(jīng)過訓(xùn)練，他們識別照片中物體的能力遠(yuǎn)遠(yuǎn)超過了當(dāng)時(shí)的其他軟件。這是深度學(xué)習(xí)的大爆炸時(shí)刻。

在經(jīng)歷了多年的失敗之后，他們終于證明了神經(jīng)網(wǎng)絡(luò)在模式識別方面的驚人功效。你只需要足夠多的數(shù)據(jù)（他們使用的，是普林斯頓大學(xué)研究員李飛飛自2006年以來一直在維護(hù)的ImageNet數(shù)據(jù)集中的一百萬張圖片）和強(qiáng)到爆炸的算力。

算力的提升來自于英偉達(dá)公司生產(chǎn)的一種名為圖形處理器（GPU）的新型芯片。GPU的設(shè)計(jì)目的是以閃電般的速度將快速移動的視頻游戲視覺效果投射到屏幕上。但GPU擅長的計(jì)算——大量數(shù)字網(wǎng)格的乘法——卻與訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需的計(jì)算十分相似。

英偉達(dá)現(xiàn)在已經(jīng)是一家市值上萬億美元的公司。當(dāng)時(shí)，它正急于為其市場狹窄的新硬件尋找應(yīng)用領(lǐng)域。

“當(dāng)你發(fā)明一項(xiàng)新技術(shù)時(shí)，你必須接受瘋狂的想法，”英偉達(dá)首席執(zhí)行官黃仁勛說?！拔业乃枷霠顟B(tài)總是在尋找一些古怪的東西，而神經(jīng)網(wǎng)絡(luò)將改變計(jì)算機(jī)科學(xué)的想法，就是一個(gè)非常古怪的想法?！?/p>

黃仁勛說，在多倫多團(tuán)隊(duì)開發(fā)AlexNet時(shí)，英偉達(dá)給他們寄了幾塊GPU讓他們試用。但他們想要的是最新版本，一種名為GTX580的芯片，這種芯片在門店里很快就賣光了。根據(jù)黃仁勛的說法，Sutskever從多倫多開車到紐約買到了GPU。

“人們在街角排起了長隊(duì)，”黃仁勛說?！拔也恢浪窃趺醋龅降摹液艽_定每個(gè)人只能買一個(gè)；我們有非常嚴(yán)格的政策，每個(gè)玩家只能買一個(gè)GPU，但他顯然把它們裝滿了一個(gè)后備箱。滿滿一后備箱的GTX580改變了世界?！?/p>

這是一個(gè)偉大的故事，只是可能不是真的。Sutskever堅(jiān)稱他的第一批GPU是在網(wǎng)上買的。但在這個(gè)熱鬧的行業(yè)里，這樣的神話是司空見慣的。

Sutskever本人則更為謙虛，他說：

“我想，如果我能取得哪怕一丁點(diǎn)真正的進(jìn)展，我都會認(rèn)為這是一種成功?，F(xiàn)實(shí)世界的影響感覺太遙遠(yuǎn)了，因?yàn)槟菚r(shí)的計(jì)算機(jī)太弱小了?！?/p>

AlexNet取得成功后，谷歌來敲門了。谷歌收購了辛頓的公司DNNresearch，并聘請了Sutskever。在谷歌，Sutskever展示了深度學(xué)習(xí)的模式識別能力可以應(yīng)用于數(shù)據(jù)序列，如單詞和句子，以及圖像。Sutskever的前同事、現(xiàn)任谷歌首席科學(xué)家的杰夫·迪恩（Jeff Dean）說：“Ilya一直對語言很感興趣，這些年來，我們進(jìn)行了很好的討論。Ilya對事物的發(fā)展方向有很強(qiáng)的直覺?！?/p>

但Sutskever并沒有在谷歌工作太久。2014年，他受聘成為OpenAI的聯(lián)合創(chuàng)始人。這家新公司擁有10億美元的資金支持（來自CEO Altman、馬斯克、彼得·蒂爾、微軟、Y Combinator和其他公司），他們有那種硅谷式的雄心，從一開始就把目光投向了開發(fā)AGI，這一前景在當(dāng)時(shí)很少有人認(rèn)真對待。

Sutskever是公司的幕后推手，他的雄心是可以理解的。在此之前，他已經(jīng)在神經(jīng)網(wǎng)絡(luò)方面取得了越來越多的成果。Y Combinator投資董事總經(jīng)理Dalton Caldwell說，Sutskever當(dāng)時(shí)已經(jīng)聲名在外，他是OpenAI吸引力的關(guān)鍵來源。

Caldwell說：“我記得山姆（Sam Altman）說伊利亞是世界上最受尊敬的研究人員之一。他認(rèn)為Ilya能夠吸引很多頂尖的人工智能人才。他甚至提到，世界頂級人工智能專家Yoshua Bengio認(rèn)為，不可能找到比Ilya更合適的人選來擔(dān)任OpenAI的首席科學(xué)家?！?/p>

然而，OpenAI一開始卻舉步維艱。

Sutskever說：“在我們啟動OpenAI的時(shí)候，有一段時(shí)間我并不確定將如何繼續(xù)取得進(jìn)展。但我有一個(gè)非常明確的信念，那就是不能與深度學(xué)習(xí)對賭。不知怎的，每次遇到障礙，研究人員都會在半年或一年內(nèi)找到繞過它的方法?！?/p>

他的信念得到了回報(bào)。2016年，OpenAI的第一個(gè)GPT大型語言模型（該名稱代表"生成預(yù)訓(xùn)練轉(zhuǎn)換器"）問世。隨后，GPT-2和GPT-3相繼問世。然后是引人注目的圖片生成模型DALL·E。當(dāng)時(shí)還沒人能造出這么好的東西。每一次發(fā)布，OpenAI都提高了人們對可能性的認(rèn)識。

管理期望值

去年11月，OpenAI發(fā)布了一款免費(fèi)使用的聊天機(jī)器人，對其部分現(xiàn)有技術(shù)進(jìn)行了重新包裝。它重新設(shè)定了整個(gè)行業(yè)的議程。當(dāng)時(shí)，OpenAI對自己的產(chǎn)品可能達(dá)到的熱度一無所知。

公司內(nèi)部的期望值低得不能再低了，Sutskever說：“我承認(rèn)，我有點(diǎn)尷尬——我不知道我是否應(yīng)該承認(rèn)，但管它呢，這是事實(shí)——當(dāng)我們制作ChatGPT時(shí)，我不知道它是否好。當(dāng)你問它一個(gè)事實(shí)性的問題時(shí)，它會給你一個(gè)錯(cuò)誤的答案。我以為它會很平淡無奇，人們會說，你為什么要做這個(gè)？這太無聊了！”

Sutskever說，吸引人的地方在于它的便利性。ChatGPT引擎蓋下的大型語言模型已經(jīng)存在了幾個(gè)月。但是，將其封裝在一個(gè)易于訪問的界面中并免費(fèi)贈送，讓數(shù)十億人第一次了解到OpenAI和其他公司正在構(gòu)建的東西。

Sutskever說：

“這種初次體驗(yàn)吸引了人們。第一次使用它，我認(rèn)為幾乎是一種精神體驗(yàn)。你會想，天哪，電腦似乎能理解我說的話?！?/p>

OpenAI在不到兩個(gè)月的時(shí)間里就積累了1億用戶，其中許多人都被這個(gè)令人驚嘆的新玩具迷住了。存儲公司Box的首席執(zhí)行官亞倫·列維（Aaron Levie）在推特上總結(jié)了發(fā)布后一周的氛圍：“ChatGPT是技術(shù)領(lǐng)域難得一見的時(shí)刻，讓你看到了未來一切都將不同的曙光?！?/p>

當(dāng)ChatGPT說出一些蠢話時(shí)，這種奇妙的感覺馬上就坍塌了。但到那時(shí)就無所謂了。Sutskever說：“那一瞥已經(jīng)足夠了。ChatGPT改變了人們的看法?！?/p>

“在機(jī)器學(xué)習(xí)領(lǐng)域，AGI不再是一個(gè)骯臟的詞，”他說。“這是一個(gè)巨大的變化。人們歷來的態(tài)度是：人工智能行不通，人工智能行不通，每一步都非常困難，你必須為每一絲進(jìn)步而奮斗。當(dāng)人們大肆宣揚(yáng)人工智能時(shí)，研究人員會說：'你在說什么？這個(gè)不行，那個(gè)也不行。問題太多了。'但有了ChatGPT，感覺就開始不一樣了?！?/p>

這種轉(zhuǎn)變是一年前才開始發(fā)生的嗎？“是因?yàn)镃hatGPT，”他說?！癈hatGPT讓機(jī)器學(xué)習(xí)研究人員有了夢想。”

OpenAI的科學(xué)家們從一開始就是傳道者，他們通過博客文章和巡回演講激起了這些夢想。

這一切正在起作用：“我們現(xiàn)在有人在談?wù)撊斯ぶ悄軙l(fā)展到什么程度，有人在談?wù)揂GI或超級智能。不僅僅是研究人員。各國政府也在談?wù)撍@太瘋狂了。”

不可思議的事物

Sutskever堅(jiān)持認(rèn)為，所有這些關(guān)于尚未存在（可能永遠(yuǎn)不會存在）的技術(shù)的討論都是好事，因?yàn)檫@讓更多人意識到他已經(jīng)認(rèn)為理所當(dāng)然的未來。

他說：“你可以用AGI做很多了不起的事情，不可思議的事情：實(shí)現(xiàn)醫(yī)療自動化，讓醫(yī)療成本低一千倍，醫(yī)療效果好一千倍，治愈很多疾病，真正解決全球變暖問題。但也有很多人擔(dān)心，天哪，人工智能公司能否成功管理這項(xiàng)巨大的技術(shù)？”

AGI聽起來更像是一個(gè)實(shí)現(xiàn)愿望的精靈，而非可以出現(xiàn)在現(xiàn)實(shí)世界的技術(shù)。很少有人會拒絕拯救生命和解決氣候變化問題。但一項(xiàng)不存在的技術(shù)的問題在于，你可以對它說任何你想說的話。

當(dāng)Sutskever談到AGI時(shí)，他到底在說什么？

他說：“AGI并不是一個(gè)科學(xué)術(shù)語。它只是一個(gè)有用的門檻，一個(gè)參照點(diǎn)。它是一種理念。”他開始說，然后停頓了一下?！八侵溉斯ぶ悄艿闹悄艹潭龋绻祟惸芡瓿傻娜蝿?wù)，人工智能也能完成。然后，你可以說實(shí)現(xiàn)了AGI?！?/p>

AGI仍然是AI領(lǐng)域最具爭議性的想法之一。很少有人認(rèn)為AGI的到來是必然的。許多研究人員認(rèn)為，在我們看到類似Sutskever所想的東西之前，還需要在概念上取得重大突破，而有些人則認(rèn)為我們永遠(yuǎn)不會看到。

然而，這是他從一開始就有的愿景。Sutskever說：“我一直受到這個(gè)想法的啟發(fā)和激勵。當(dāng)時(shí)還不叫AGI，但你知道，就像讓神經(jīng)網(wǎng)絡(luò)做所有事情一樣。我并不總是相信它們能做到。但這是一座需要攀登的高山?！?/p>

他將神經(jīng)網(wǎng)絡(luò)和大腦的運(yùn)作方式做了類比。兩者都接收數(shù)據(jù)，匯總數(shù)據(jù)中的信號，然后根據(jù)一些簡單的過程（神經(jīng)網(wǎng)絡(luò)中的數(shù)學(xué)，大腦中的化學(xué)物質(zhì)和生物電）來決定是否傳播這些信號。這是簡化的比喻，但原理是類似的。

Sutskever說：

“如果你相信這一點(diǎn)，如果你允許自己相信這一點(diǎn)，那么就會產(chǎn)生很多有趣的影響。如果你有一個(gè)非常大的人工神經(jīng)網(wǎng)絡(luò)，它應(yīng)該能做很多事情。特別是，如果人腦可以做一些事情，那么一個(gè)大型人工神經(jīng)網(wǎng)絡(luò)也可以做類似的事情?！?/p>

“如果你足夠認(rèn)真地認(rèn)識到這一點(diǎn)，一切都會水到渠成，”他說?！拔业拇蟛糠止ぷ鞫伎梢杂眠@一點(diǎn)來解釋”。

在我們談?wù)摯竽X的時(shí)候，我想問一下Sutskever在X（推特）上發(fā)表的一篇文章。Sutskever的帖子就像一卷箴言：“如果你把智力看得比人類所有其他品質(zhì)都重要，那么你會過得很糟糕”；“生活和商業(yè)中的同理心被低估了”；“完美毀掉了很多完美的好東西?！?/p>

2022年2月，他發(fā)帖稱，“也許今天的大型神經(jīng)網(wǎng)絡(luò)略有意識”（谷歌DeepMind首席科學(xué)家、倫敦帝國理工學(xué)院教授兼電影《機(jī)械姬》（ExMachina）科學(xué)顧問默里·沙納漢（Murray Shanahan）對此回復(fù)道：“……就像一大片麥田可能略帶意大利面一樣”）。

當(dāng)我提起這件事時(shí)，Sutskever笑了。他是在開玩笑嗎？他沒有。"他問道："你熟悉玻茲曼大腦的概念嗎？

他指的是量子力學(xué)中以19世紀(jì)物理學(xué)家路德維?！げㄆ澛↙udwig Boltzmann）命名的一個(gè)（調(diào)侃式的）思想實(shí)驗(yàn)，在這個(gè)實(shí)驗(yàn)中，人們想象宇宙中的隨機(jī)熱力學(xué)波動會導(dǎo)致大腦突然出現(xiàn)或消失。

“我覺得現(xiàn)在這些語言模型有點(diǎn)像波茲曼大腦，”Sutskever說，“你開始跟它說話，你說了一會兒；然后你說完了，大腦就……”他用手做了一個(gè)消失的動作。噗——再見，大腦?！?/p>

我問他，你是說，在神經(jīng)網(wǎng)絡(luò)活躍的時(shí)候，也就是在它發(fā)射的時(shí)候，有什么東西在那里？

他說：

“我想可能是的。我不確定，但這是一種很難反駁的可能性。但誰知道會發(fā)生什么呢，對吧？”

人工智能，但不是我們所知的那種

當(dāng)其他人還在為機(jī)器能與人類的智能相媲美而糾結(jié)時(shí)，Sutskever正在為機(jī)器能超越我們而做準(zhǔn)備。他稱之為人工超級智能：“它們會看得更透徹。它們會看到我們看不到的東西?！?/p>

我還是很難理解這到底是什么意思。人類智能是我們衡量智能的基準(zhǔn)。Sutskever所說的比人類更聰明的智能是什么意思？

他說，我們已經(jīng)在AlphaGo身上看到了一個(gè)有限的超級智能的例子。2016年，DeepMind的AI圍棋機(jī)器人在一場圍棋比賽中以4:1的比分擊敗了世界上最好的圍棋選手之一李世石。

Sutskever說：

“它找出了下圍棋的方法，與人類幾千年來共同開發(fā)的方法不同。它提出了新的想法。”

Sutskever指出了AlphaGo謎一樣的第37手。在與李世石的第二場比賽中，AI下出了讓評論員們大跌眼鏡的一步棋，他們認(rèn)為AlphaGo下砸了。事實(shí)上，AlphaGo下出了在對局史上從未有人見過的神之一手（被圍棋迷們稱為“阿狗流”）?！跋胂笠幌?，AlphaGo的洞察力是如此之強(qiáng)，而且是全方位的?！盨utskever說。

正是這種思路促使Sutskever做出了他職業(yè)生涯中最大的轉(zhuǎn)變。他與OpenAI的科學(xué)家揚(yáng)·雷克（Jan Leike）一起成立了一個(gè)團(tuán)隊(duì)，專注于他們所說的超級對齊（superalignment）。Alignment是行話，意思是讓人工智能模型做你想做的事，僅此而已。Superalignment是OpenAI的術(shù)語，指超級智能的對齊問題。

超級對齊的目標(biāo)是，為構(gòu)建和控制這項(xiàng)未來技術(shù)制定一套萬無一失的程序。OpenAI表示，它將分配五分之一的龐大計(jì)算資源來解決這個(gè)問題，并在四年內(nèi)解決。

“現(xiàn)有的排列方法對于比人類更聰明的模型不起作用，因?yàn)樗鼈儚母旧霞俣ㄈ祟惸軌蚩煽康卦u估人工智能系統(tǒng)正在做的事情，”Leike說，“隨著人工智能系統(tǒng)的能力越來越強(qiáng)，它們將承擔(dān)更艱巨的任務(wù)。這種想法認(rèn)為，人類將更難對它們進(jìn)行評估。在與Ilya組建超對齊團(tuán)隊(duì)的過程中，我們已經(jīng)著手解決這些未來的對齊挑戰(zhàn)?！?/p>

谷歌首席科學(xué)家迪恩說：

“不僅要關(guān)注大型語言模型的潛在機(jī)遇，還要關(guān)注其風(fēng)險(xiǎn)和弊端，這一點(diǎn)非常重要?！?/p>

OpenAI于7月份大張旗鼓地宣布了這一項(xiàng)目。但對一些人來說，這不過是天方夜譚。OpenAI在Twitter上發(fā)表的博文引起了大科技界著名批評家的嘲諷，其中包括在Mozilla從事人工智能問責(zé)工作的Abeba Birhane（"在一篇博文中出現(xiàn)了這么多聽起來宏偉卻空洞的詞句"）；分布式人工智能研究所（Distributed Artificial Intelligence Research Institute）聯(lián)合創(chuàng)始人Timnit Gebru（"想象一下，ChatGPT與OpenAI的技術(shù)人員更加‘超級對齊’。不寒而栗"）；以及人工智能公司HuggingFace的首席倫理科學(xué)家瑪格麗特·米切爾（"我的聯(lián)盟比你的更大"）。誠然，這些都是我們耳熟能詳?shù)牟煌曇?。但這也有力地提醒我們，在一些人看來，OpenAI是站在前沿的領(lǐng)導(dǎo)者，而在另一些人看來，OpenAI則是站在邊緣的領(lǐng)導(dǎo)者。

不過，對Sutskever來說，結(jié)盟是不可避免的下一步?！斑@是一個(gè)尚未解決的問題，”他說。他認(rèn)為，像他自己這樣的核心機(jī)器學(xué)習(xí)研究人員正在研究的問題還不夠多?！拔疫@么做是為了自己的利益。顯然，重要的是，不管是誰構(gòu)建的超級智能都不能背叛人類?！?/p>

超級智能的工作才剛剛開始。Sutskever說，這需要研究機(jī)構(gòu)進(jìn)行廣泛的改革。不過，對于他希望設(shè)計(jì)的保障措施，他心中已經(jīng)有了一個(gè)范例：能像父母看待孩子那樣看待人類的AI。他說：“在我看來，這是黃金標(biāo)準(zhǔn)?！彼f，“畢竟人們真的關(guān)心孩子。AI有孩子嗎？沒有，但我希望它能這么想?！?/p>

我和Sutskever的談話時(shí)間快到了，我想我們已經(jīng)結(jié)束了。但他又有了新的想法——一個(gè)我沒有想到的想法：

“一旦你解決了人工智能失控的挑戰(zhàn)，然后呢？在一個(gè)擁有更智能人工智能的世界里，人類還有生存空間嗎？”

"有一種可能性——以今天的標(biāo)準(zhǔn)來看可能很瘋狂，但以未來的標(biāo)準(zhǔn)來看就不那么瘋狂了——那就是許多人會選擇成為人工智能的一部分。這可能是人類試圖跟上時(shí)代的方式。一開始，只有最大膽、最有冒險(xiǎn)精神的人才會嘗試這樣做。也許其他人會跟進(jìn)，或者不會。”

等等，什么？他準(zhǔn)備起身離開。你會這么做嗎？我問他，你會是第一批嗎？第一批？我不知道，他說。但這是我考慮過的事情。真正的答案是：也許吧。

說完，他站起身，走出了房間?！昂芨吲d再次見到你?！彼呑哌呎f。