GPT-4就是AGI！谷歌斯坦?？茖W(xué)家揭秘大模型如何超智能

來源：新智元

導(dǎo)讀

谷歌研究院和斯坦福HAI的兩位專家發(fā)文稱，現(xiàn)在最前沿的AI模型，未來將會(huì)被認(rèn)為是第一代AGI。最前沿的LLM已經(jīng)用強(qiáng)大的能力證明，AGI即將到來！

通用人工智能（AGI），其實(shí)已經(jīng)實(shí)現(xiàn)了？

最近，來自谷歌研究院和斯坦福HAI的大佬發(fā)文稱，現(xiàn)在的大預(yù)言模型就是通向AGI的正確方向，而且現(xiàn)在最前沿的模型，已經(jīng)擁有AGI的能力了！

這兩位作者都是AI業(yè)界大佬，Blaise Agüera y Arcas現(xiàn)在是Google Research副總裁兼研究員，曾經(jīng)也在微軟任職。主要研究領(lǐng)域是人工智能基礎(chǔ)研究。

Peter Norvig是一位美國計(jì)算機(jī)科學(xué)家，是斯坦福AI研究所研究員，也是Google Research的工程總監(jiān)。

不同的人眼里的通用人工智能（AGI）的含義，是完全不一樣的。

當(dāng)前最先進(jìn)的AI大型語言模型幾乎已經(jīng)實(shí)現(xiàn)了大部分對于AGI的暢想。

雖然這些「前沿模型」有許多缺陷：它們會(huì)編造學(xué)術(shù)引用和法庭案例，從訓(xùn)練數(shù)據(jù)中擴(kuò)展人類的偏見，而且簡單的數(shù)學(xué)也算不對。

盡管如此，今天的前沿模型甚至能勝任它們沒有訓(xùn)練過的新任務(wù)，跨越了前幾代人工智能和有監(jiān)督深度學(xué)習(xí)系統(tǒng)從未達(dá)到的門檻。

幾十年后，它們將被公認(rèn)為第一批達(dá)到AGI能力的范例，就像現(xiàn)在回頭看1945年的ENIAC一樣，它就是第一臺(tái)真正的通用電子計(jì)算機(jī)。

即使今天的計(jì)算機(jī)在速度、內(nèi)存、可靠性和易用性方面都遠(yuǎn)遠(yuǎn)超過了ENIAC。但是ENIAC可以使用順序指令、循環(huán)指令和條件指令進(jìn)行編程，這賦予了它前輩（如差分分析儀）所不具備的通用性。

同樣，未來的前沿人工智能也會(huì)在今天的基礎(chǔ)上不斷進(jìn)步。

但通用性的關(guān)鍵屬性呢？

它已經(jīng)在現(xiàn)實(shí)的大語言模型上實(shí)現(xiàn)了。

什么是通用人工智能？

早期的AI系統(tǒng)雖然在執(zhí)行任務(wù)的能力上，可以接近或超過人類的水平，但通常只能專注于單一任務(wù)。比如，斯坦福大學(xué)Ted Shortliffe在20世紀(jì)70年代開發(fā)的MYCIN，只能診斷細(xì)菌感染并提出治療建議；SYSTRAN只能進(jìn)行機(jī)器翻譯；而IBM的「深藍(lán)」也只會(huì)下國際象棋。后來，經(jīng)過監(jiān)督學(xué)習(xí)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)模型，如AlexNet和AlphaGo，成功完成了很多早期啟發(fā)式、基于規(guī)則或基于知識(shí)的系統(tǒng)，長期無法解決的機(jī)器感知和判斷任務(wù)。

最近，我們看到了一些前沿模型，它們無需進(jìn)行針對性的訓(xùn)練，就能完成各種各樣的任務(wù)?？梢哉f，這些模型在五個(gè)重要方面實(shí)現(xiàn)了通用人工智能的能力：- 話題（Topic）前沿模型是通過數(shù)百千兆字節(jié)的文本訓(xùn)練而成，這些文本涵蓋了互聯(lián)網(wǎng)上幾乎所有討論過的話題。其中，一些模型還會(huì)在大量多樣化的音頻、視頻和其他媒體上進(jìn)行訓(xùn)練。

- 任務(wù)（Task）

這些模型可以執(zhí)行各種任務(wù)，包括回答問題、生成故事、總結(jié)、轉(zhuǎn)錄語音、翻譯語言、解釋、決策、提供客戶支持、調(diào)用其他服務(wù)執(zhí)行操作，以及組合文字和圖像。

- 模態(tài)（Modalities）

最受歡迎的模型主要處理圖像和文本，但有些系統(tǒng)也能處理音頻和視頻，并且有些與機(jī)器人傳感器和執(zhí)行器相連。通過使用特定模態(tài)的分詞器或處理原始數(shù)據(jù)流，前沿模型原則上可以處理任何已知的感官或運(yùn)動(dòng)模態(tài)。

- 語言（Language）

在大多數(shù)系統(tǒng)的訓(xùn)練數(shù)據(jù)中英語所占的比例最高，但大模型卻能使用數(shù)十種語言進(jìn)行對話和翻譯，即便在訓(xùn)練數(shù)據(jù)中沒有示例的語言對之間也可以實(shí)現(xiàn)。如果訓(xùn)練數(shù)據(jù)中包含了代碼，模型甚至可以支持自然語言和計(jì)算機(jī)語言之間的「翻譯」（即通用編程和逆向工程）。- 可指導(dǎo)性（Instructability）這些模型能夠進(jìn)行「上下文學(xué)習(xí)」，也就是根據(jù)提示而不是訓(xùn)練數(shù)據(jù)來進(jìn)行學(xué)習(xí)。在「少樣本學(xué)習(xí)」中，一個(gè)新任務(wù)會(huì)配有幾個(gè)輸入/輸出示例，然后系統(tǒng)會(huì)基于此給出新的輸入對應(yīng)的輸出。在「零樣本學(xué)習(xí)」中，會(huì)描述一項(xiàng)新任務(wù)，但不會(huì)給出任何示例（例如，「以海明威的風(fēng)格寫一首關(guān)于貓的詩」）。

「通用智能」必須通過多個(gè)維度來考慮，而不是從單一的「是/否」命題。此前，弱人工智能系統(tǒng)通常只執(zhí)行單一或預(yù)定的任務(wù)，并為此接受明確的訓(xùn)練。即使是多任務(wù)學(xué)習(xí)，也只能產(chǎn)生弱智能，因?yàn)槟Ｐ腿栽?a target="_blank">工程師設(shè)想的任務(wù)范圍內(nèi)運(yùn)行。事實(shí)上，開發(fā)弱人工智能所涉及的大部分艱巨工作，都是關(guān)于特定任務(wù)數(shù)據(jù)集的整理和標(biāo)注。相比之下，前沿語言模型可以勝任幾乎所有人類可以完成的任務(wù)，這些任務(wù)可以用自然語言提出和回答，并且具有可量化的性能。對于通用人工智能來說，上下文學(xué)習(xí)能力是一項(xiàng)意義重大的任務(wù)。上下文學(xué)習(xí)將任務(wù)范圍從訓(xùn)練語料中觀察到的事物，擴(kuò)展到了所有可以被描述的事物。因此，通用人工智能模型可以執(zhí)行設(shè)計(jì)者從未設(shè)想過的任務(wù)。

根據(jù)「通用」和「智能」這兩個(gè)詞的日常含義，前沿模型實(shí)際上在這方面已經(jīng)達(dá)到了相當(dāng)高的水平。那么，為什么有人不愿意承認(rèn)AGI的存在呢？其原因主要有以下四點(diǎn)：1. 對于AGI的度量標(biāo)準(zhǔn)持懷疑態(tài)度2. 堅(jiān)信其他的人工智能理論或技術(shù)3. 執(zhí)著于人類（或生物）的特殊性4. 對人工智能經(jīng)濟(jì)影響的擔(dān)憂

如何設(shè)定AGI的評價(jià)指標(biāo)

對于通用人工智能（AGI）的門檻到底在哪里，其實(shí)存在很大分歧。業(yè)界很多專家們都曾試圖完全避諱使用這個(gè)詞。比如DeepMind的聯(lián)合創(chuàng)始人Mustafa Suleyman建議使用「人工能力智能（Artificial Capable Intelligence）」來描述這種系統(tǒng)。他建議通過「現(xiàn)代圖靈測試」來衡量這種AI系統(tǒng)——能否在10萬美元的啟動(dòng)資金基礎(chǔ)上，快速在網(wǎng)上賺取100萬美元的能力。盡管將「有能力」直接等同于「能賺錢」似乎還是一件值得商榷的事情，但是能夠直接產(chǎn)生財(cái)富的AI系統(tǒng)肯定會(huì)在更加深遠(yuǎn)的層面上影響世界。當(dāng)然，大眾有充分的理由對某些指標(biāo)表示懷疑。比如當(dāng)一個(gè)人通過了復(fù)雜的法律、商業(yè)或醫(yī)學(xué)考試時(shí)，大眾就會(huì)假設(shè)這個(gè)人不僅能夠準(zhǔn)確回答考試中的問題，而且能夠解決一系列相關(guān)的問題和復(fù)雜任務(wù)。自然更不會(huì)懷疑這個(gè)人會(huì)具備普通人類所具有的一般能力了。

LLM能考試，卻不能當(dāng)醫(yī)生

但是，當(dāng)訓(xùn)練前沿的大語言模型以通過這些考試時(shí)，訓(xùn)練過程通常會(huì)針對測試中的確切問題類型進(jìn)行調(diào)整。盡管模型可以通過這些資格考試，但是目前的前沿模型當(dāng)然不可能勝任律師或者醫(yī)生的工作。正如古德哈特定律所說的，「當(dāng)一項(xiàng)措施成為目標(biāo)時(shí)，它就不再是一個(gè)好的措施?！拐麄€(gè)AI行業(yè)都需要更好的測試來評估模型的能力，而且已經(jīng)取得了不錯(cuò)的進(jìn)展，例如斯坦福大學(xué)的模型評估系統(tǒng)——HELM。

說話流暢=智能高？

另一個(gè)非常重要的問題是，不要將語言的流暢性與智能的高低混為一談。前幾代的聊天機(jī)器人，例如Mitsuku（現(xiàn)在稱為Kuki），偶爾會(huì)通過突然改變主題并重復(fù)連貫的文本段落來蒙騙人類開發(fā)人員。而當(dāng)前最先進(jìn)的，模型可以即時(shí)生成響應(yīng)，而不需要依賴預(yù)設(shè)文本，并且它們更擅長把握海量文字的主題。但這些模型仍然受益于人類的自然假設(shè)。也就是說，他們流利、符合語法的回答依然還是來自像人類這樣的智能實(shí)體。我們將其稱為「昌西·加德納效應(yīng)」，以「Being There」（一部后來被改編為電影的諷刺小說）中的角色命名——昌西受到了世人的尊敬甚至是崇拜，僅僅是因?yàn)樗缚雌饋硐瘛挂粋€(gè)應(yīng)該受到尊敬和崇拜的人。

忽然涌現(xiàn)的LLM能力

研究人員Rylan Schaeffer、Brando Miranda和Sanmi Koyejo在論文中指出了常見人工智能能力指標(biāo)的另一個(gè)問題：測評指標(biāo)的難度不是線性的。

比如，對于一個(gè)由一系列五位數(shù)算術(shù)問題組成的測試。小模型幾乎都不可能回答對，但隨著模型規(guī)模的不斷擴(kuò)大，將會(huì)出現(xiàn)一個(gè)臨界閾值，在此閾值之后模型將正確回答大部分問題。這個(gè)現(xiàn)象會(huì)讓人覺得，計(jì)算能力是從規(guī)模足夠大的模型中突然涌現(xiàn)出來的。但是，如果測試集中也包括一到四位數(shù)的算術(shù)題，并且如果評分標(biāo)準(zhǔn)改為只要能算對一些數(shù)字就能得分，不一定非要像人類一樣算對所有數(shù)字才能得分的話。我們會(huì)發(fā)現(xiàn)：隨著模型大小的增加，模型的性能是逐漸提高的，并不會(huì)突然出現(xiàn)一個(gè)閾值。這個(gè)觀點(diǎn)對超級(jí)智能能力或者屬性（可能包括意識(shí)）可能突然神秘地「涌現(xiàn)」的觀點(diǎn)提出了質(zhì)疑。而「涌現(xiàn)論」確實(shí)讓大眾甚至是政策的制定者產(chǎn)生了某種程度的恐慌。類似的論點(diǎn)也被用來「解釋」為什么人類擁有智能，而其他類人猿就沒有智能。

實(shí)際上，這種智能的不連續(xù)性可能同樣是虛幻的。只要衡量智能的標(biāo)準(zhǔn)足夠精確，基本上都能看到智力是連續(xù)的——「越多就越好」而不是「越多就越不同」。

為什么計(jì)算機(jī)編程+語言學(xué)≠AGI？

在AGI的發(fā)展歷史上，存在許多相互競爭的智能理論，其中一些理論在一定的領(lǐng)域內(nèi)得到了認(rèn)可。計(jì)算機(jī)科學(xué)本身基于具有精確定義的形式語法的編程語言，一開始就與「Good Old-Fashioned AI」（GOFAI）密切相關(guān)。GOFAI的信條至少可以追溯到17世紀(jì)德國數(shù)學(xué)家戈特弗里德·威廉·萊布尼茨 (Gottfried Wilhelm Leibniz)。艾倫·紐厄爾（Allen Newell）和司馬賀（Herbert Simon）的「物理符號(hào)系統(tǒng)假說」進(jìn)一步具體化這個(gè)理論。

假說認(rèn)為智力可以用微積分來表述，其中符號(hào)代表思想，思維由根據(jù)邏輯規(guī)則的符號(hào)變換構(gòu)成。起初，像英語這樣的自然語言似乎就是這樣的系統(tǒng)：用「椅子」和「紅色」這樣的符號(hào)代表「椅子」和「紅色」等概念。符號(hào)系統(tǒng)可以進(jìn)行陳述——「椅子是紅色的」——也可以產(chǎn)生邏輯推論：「如果椅子是紅色的，那么椅子就不是藍(lán)色的。」

雖然這種觀點(diǎn)看起來很合理，但用這種方法構(gòu)建的系統(tǒng)往往是很脆弱的，并且能夠?qū)崿F(xiàn)的功能和通用性很有限。主要是存在兩個(gè)主要問題：首先，諸如「藍(lán)色」、「紅色」和「椅子」之類的術(shù)語僅只能被模糊地定義，并且隨著所執(zhí)行的任務(wù)的復(fù)雜性增加，歧義會(huì)變得更加嚴(yán)重。其次，這樣的邏輯推論很難產(chǎn)生普遍有效的結(jié)果，椅子確實(shí)可能是藍(lán)色的，也可能是紅色的。更根本的是，大量的思考和認(rèn)知過程不能簡化為對邏輯命題的變換。這就是為什么幾十年來，想要將計(jì)算機(jī)編程和語言學(xué)結(jié)合起來的努力都沒能產(chǎn)生任何類似于通用人工智能的東西的最主要原因。然而，一些特別專注于對符號(hào)系統(tǒng)或語言學(xué)的研究人員仍然堅(jiān)持認(rèn)為，他們的特定理論是通用智能前提，而神經(jīng)網(wǎng)絡(luò)或更廣泛的機(jī)器學(xué)習(xí)在理論上無法實(shí)現(xiàn)通用智能——特別是如果如果模型們僅僅接受語言訓(xùn)練。ChatGPT出現(xiàn)后，這些批評者的聲音越來越大。

例如，現(xiàn)代語言學(xué)之父的諾姆·喬姆斯基（Noam Chomsky）在談到大型語言模型時(shí)寫道：「我們從語言學(xué)和知識(shí)哲學(xué)中知道，它們與人類推理和使用語言的方式截然不同。這種差異極大地限制了這些程序的功能，并給它們編碼了無法根除的缺陷?！?/p>

認(rèn)知科學(xué)家和當(dāng)代人工智能評論家加里·馬庫斯（Gary Marcus）表示，前沿模型「正在學(xué)習(xí)如何聽起來和看起來像人類。但他們并不真正知道自己在說什么或在做什么?！柜R庫斯承認(rèn)神經(jīng)網(wǎng)絡(luò)可能是通用人工智能解決方案的一部分，但他認(rèn)為「為了構(gòu)建一個(gè)強(qiáng)大的、知識(shí)驅(qū)動(dòng)的人工智能方法，我們的工具包中必須有符號(hào)操作機(jī)制?！柜R庫斯（和許多其他人）專注于尋找前沿模型（尤其是大型語言模型）的能力差距，并經(jīng)常聲稱它們反映了該方法的根本缺陷。

這些批評者認(rèn)為，如果沒有明確的符號(hào)，僅僅通過學(xué)習(xí)到的「統(tǒng)計(jì)」方法無法產(chǎn)生真正的理解。與此相關(guān)的是，他們聲稱沒有符號(hào)概念，就不可能發(fā)生邏輯推理，而「真正的」智能需要這樣的推理。撇開智能是否總是依賴于符號(hào)和邏輯的問題不談，我們有理由質(zhì)疑這種關(guān)于神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)不足的說法，因?yàn)樯窠?jīng)網(wǎng)絡(luò)在做計(jì)算機(jī)能做的任何事情上都非常強(qiáng)大。例如：- 神經(jīng)網(wǎng)絡(luò)可以輕松學(xué)習(xí)離散或符號(hào)表示，并在訓(xùn)練過程中自然出現(xiàn)。

先進(jìn)的神經(jīng)網(wǎng)絡(luò)模型可以將復(fù)雜的統(tǒng)計(jì)技術(shù)應(yīng)用于數(shù)據(jù)，使它們能夠根據(jù)給定的數(shù)據(jù)做出近乎最佳的預(yù)測。模型學(xué)習(xí)如何應(yīng)用這些技術(shù)并為給定問題選擇最佳技術(shù)，而無需明確告知。 以正確的方式將多個(gè)神經(jīng)網(wǎng)絡(luò)堆疊在一起會(huì)產(chǎn)生一個(gè)模型，該模型可以執(zhí)行與任何給定計(jì)算機(jī)程序相同的計(jì)算。提供任意由計(jì)算機(jī)算出的函數(shù)的輸入和輸出示例，神經(jīng)網(wǎng)絡(luò)都可以學(xué)會(huì)如何逼近這個(gè)函數(shù)。（比如99.9%的正確率。）

對于批評的聲音，都應(yīng)該區(qū)別它是原教旨主義型批評還是積極討論型的批評。原教旨主義型批評會(huì)說：「為了被認(rèn)為是通用人工智能，一個(gè)系統(tǒng)不僅必須通過這個(gè)測試，而且還必須以這種方式構(gòu)建?！刮覀儾徽J(rèn)同這樣的批評，理由是測試本身應(yīng)該足夠——如果不夠，測試應(yīng)該被修改。另一方面，積極討論型的批評則認(rèn)為：「我認(rèn)為你不能讓人工智能以這種方式工作——我認(rèn)為用另一種方式來做會(huì)更好?！惯@樣的批評可以幫助確定研究方向。如果某個(gè)系統(tǒng)能夠通過精心設(shè)計(jì)的測試，這些批評就會(huì)消失了。

近年來，人們設(shè)計(jì)了大量針對與「智能」、「知識(shí)」、「常識(shí)」和「推理」相關(guān)的認(rèn)知任務(wù)的測試。其中包括無法通過記憶訓(xùn)練數(shù)據(jù)來回答但需要概括的新問題——當(dāng)我們使用測試對象在學(xué)習(xí)期間沒有遇到過的問題來測試他們的理解或推理時(shí)，我們要求測試對象提供同樣的理解證明。復(fù)雜的測試可以引入新的概念或任務(wù)，探索考生的認(rèn)知靈活性：即時(shí)學(xué)習(xí)和應(yīng)用新想法的能力。（這就是情境學(xué)習(xí)的本質(zhì)。）當(dāng)AI批評者努力設(shè)計(jì)新的測試來測試當(dāng)前模型仍然表現(xiàn)不佳時(shí)，他們正在做有用的工作——盡管考慮到更新、更大的模型克服這些障礙的速度越來越快，推遲幾周可能是明智的選擇（再次）急于聲稱人工智能是「炒作」。

人類憑什么是「獨(dú)一無二」的？

只要懷疑論者仍然對指標(biāo)不為所動(dòng)，他們可能不愿意接受AGI的任何事實(shí)性的證據(jù)。這種不情愿可能是由于想要保持人類精神的特殊性的愿望所驅(qū)動(dòng)的，就像人類一直不愿意接受地球不是宇宙的中心以及智人不是「生物偉大進(jìn)化」的頂峰一樣。確實(shí)，人類有一些特別之處，我們應(yīng)該保持他們，但我們不應(yīng)該將其與通用智能混為一談。有些聲音認(rèn)為，任何可以算作通用人工智能的東西都必須是有意識(shí)的、具有代理性、能夠體驗(yàn)主觀感知或感受感情。但是簡單推理一下就會(huì)變成這樣：一個(gè)簡單的工具，比如螺絲刀，顯然有一個(gè)目的（擰螺絲），但不能說它是自己的代理；相反，任何代理顯然屬于工具制造者或工具使用者。螺絲刀本身「只是一個(gè)工具」。同樣的推理也適用于經(jīng)過訓(xùn)練來執(zhí)行特定任務(wù)的人工智能系統(tǒng)，例如光學(xué)字符識(shí)別或語音合成。然而，具有通用人工智能的系統(tǒng)很難被歸類為純粹的工具。前沿模型的技能超出了程序員或用戶的想象。此外，由于LLM可以被語言提示執(zhí)行任意任務(wù)，可以用語言生成新的提示，并且確實(shí)可以自我提示（「思維鏈提示」），所以前沿模型是否以及何時(shí)具有「代理」的問題需要更仔細(xì)的考慮。假設(shè)一下，Suleyman的「人工能力智能」為了在網(wǎng)上賺一百萬美元可能采取的許多行動(dòng)：它可能會(huì)研究網(wǎng)絡(luò)，看看最近什么東西最火，找到亞馬遜商店里的爆款，然后生成一系列類似的產(chǎn)品的圖像和制作圖，發(fā)送給在阿里巴巴上找到的代發(fā)貨制造商，然后通過電子郵件來完善要求并就合同達(dá)成一致。最后設(shè)計(jì)賣家列表，并根據(jù)買家反饋不斷更新營銷材料和產(chǎn)品設(shè)計(jì)。正如Suleyman指出的那樣，最新的模型理論上已經(jīng)能夠完成所有這些事情，并且能夠可靠地規(guī)劃和執(zhí)行整個(gè)操作的模型可能也要即將出現(xiàn)。這樣的AI看起來也不再像一把螺絲刀。既然已經(jīng)有了可以執(zhí)行任意一般智能任務(wù)的系統(tǒng)，那么表現(xiàn)出代理性相當(dāng)于有意識(shí)的說法似乎是有問題的——這意味著要么前沿模型是有意識(shí)的，要么代理不一定需要意識(shí)。
雖然我們不知道如何測量、驗(yàn)證或偽造智能系統(tǒng)中意識(shí)的存在。我們可以直接問它，但我們可能相信也可能不相信它的回答。事實(shí)上，「只是問」似乎有點(diǎn)像羅夏墨跡測試：AI感知力的信徒會(huì)接受積極的回應(yīng)，而不相信的人會(huì)聲稱任何肯定的回應(yīng)要么只是「鸚鵡學(xué)舌」。要么當(dāng)前的人工智能系統(tǒng)是「哲學(xué)僵尸 」，能夠像人類一樣行事，但「內(nèi)部」缺乏任何意識(shí)或經(jīng)驗(yàn)。更糟糕的是，羅夏墨跡測試適用于LLM本身：他們可能會(huì)根據(jù)調(diào)整或提示的方式回答自己是否有意識(shí)。（ChatGPT和Bard都接受過訓(xùn)練，能夠回答自己確實(shí)沒有意識(shí)。）由于依賴于無法驗(yàn)證的某種「信仰」（人類和人工智能），意識(shí)或感知的爭論目前無法解決。一些研究人員提出了意識(shí)的測量方法，但這些方法要么基于不可證偽的理論，要么依賴于我們自己大腦特有的相關(guān)性。因此這些標(biāo)準(zhǔn)要么是武斷的，要么無法評估，不具有我們生物遺傳特征的系統(tǒng)中的意識(shí)。聲稱非生物系統(tǒng)根本不可能具有智能或意識(shí)（例如，因?yàn)樗鼈儭钢皇?a href="http://www.ttokpm.com/v/tag/2562/" target="_blank">算法」）似乎是武斷的，植根于無法檢驗(yàn)的精神信仰。類似地，比如說感覺疼痛需要傷害感受器的想法，可能會(huì)讓我們對熟悉的疼痛體驗(yàn)到底是什么進(jìn)行一些有根據(jù)的猜測，但目前尚不清楚如何將這種想法應(yīng)用于其他神經(jīng)結(jié)構(gòu)或智力類型。「當(dāng)一只蝙蝠是什么感覺？」，這是托馬斯·內(nèi)格爾（Thomas Nagel）在1974 年提出了一個(gè)著名的問題。我們不知道，也不知道我們是否能夠知道，蝙蝠是什么樣子，或者人工智能是什么樣子。但我們確實(shí)有越來越多的測試來評估智力的各種維度。雖然尋求對意識(shí)或感知更普遍、更嚴(yán)格的表征可能是值得的，但任何這樣的表征都不會(huì)改變?nèi)魏稳蝿?wù)的測量能力。那么，目前尚不清楚這些擔(dān)憂如何能夠有意義地納入通用人工智能的定義中。

將「智能」與「意識(shí)」和「感知」分開來看會(huì)是更加理智的選擇。

AGI會(huì)對人類社會(huì)造成什么樣的影響？

關(guān)于智能和代理的爭論很容易演變?yōu)殛P(guān)于權(quán)利、地位、權(quán)力和階級(jí)關(guān)系的擔(dān)憂。自工業(yè)革命以來，被認(rèn)為「死記硬背」或「重復(fù)性」的任務(wù)往往由低薪工人來完成，而編程——一開始被認(rèn)為是「女性的工作」——只有當(dāng)它在工業(yè)革命中成為男性主導(dǎo)時(shí)，其智力和經(jīng)濟(jì)地位才會(huì)上升。20世紀(jì)70年代。然而諷刺的是，即使對于GOFAI來說，下棋和解決積分問題也很容易，但即使對于當(dāng)今最復(fù)雜的人工智能來說，體力勞動(dòng)仍然是一項(xiàng)重大的挑戰(zhàn)。1956年夏天，一群研究人員在達(dá)特茅斯召開會(huì)議，研究「如何讓機(jī)器使用語言、形成抽象和概念、解決各種問題，如果AGI以某種方式「按期」實(shí)現(xiàn)，公眾會(huì)有何反應(yīng)？現(xiàn)在保留給人類，并提高自己」？當(dāng)時(shí)，大多數(shù)美國人對技術(shù)進(jìn)步持樂觀態(tài)度。在那個(gè)時(shí)代，快速發(fā)展的技術(shù)所取得的經(jīng)濟(jì)收益被廣泛地重新分配（盡管肯定不公平，特別是在種族和性別方面）。盡管冷戰(zhàn)的威脅迫在眉睫，但對大多數(shù)人來說，未來看起來比過去更加光明。如今，這種再分配方式已經(jīng)發(fā)生了逆轉(zhuǎn)：窮人越來越窮，富人越來越富。當(dāng)人工智能被描述為「既不是人工的，也不是智能的」，而僅僅是人類智能的重新包裝時(shí)，很難不從經(jīng)濟(jì)威脅和不安全的角度來解讀這種批評。

在將關(guān)于AGI應(yīng)該是什么和它是什么的爭論混為一談時(shí)，人類似乎違反了大衛(wèi)·休謨的禁令，應(yīng)該盡最大努力將「是」與「應(yīng)該」問題分開。但這是行不通的，因?yàn)槭裁词恰笐?yīng)該」的辯論必須要誠實(shí)地進(jìn)行。AGI有望在未來幾年創(chuàng)造巨大價(jià)值，但它也將帶來重大風(fēng)險(xiǎn)。到2023年，我們應(yīng)該問的問題包括——「誰受益？」 「誰受到傷害？」 「我們?nèi)绾尾拍茏畲蠡娌⒆钚』瘋?？」以及「我們怎樣才能公平公正地做到這一點(diǎn)？」這些都是緊迫的問題，應(yīng)該直接討論，而不是否認(rèn)通用人工智能的現(xiàn)實(shí)。