15 張圖，看懂人工智能現(xiàn)狀

來源：內(nèi)容由半導(dǎo)體行業(yè)觀察（ID：icbank）編譯自IEEE，謝謝。

每年，人工智能指數(shù)都會(huì)以更大的虛擬沖擊力登陸虛擬桌面——今年，它的 393 頁證明了人工智能將在 2023 年迎來一個(gè)真正重要的一年。在過去的三年里，IEEE Spectrum閱讀了整個(gè)該死的事情，并拿出了一系列總結(jié)人工智能當(dāng)前狀態(tài)的圖表。

今年的報(bào)告由斯坦福以人為中心的人工智能研究所 (HAI)發(fā)布，增加了有關(guān)負(fù)責(zé)任人工智能的擴(kuò)展章節(jié)和有關(guān)科學(xué)和醫(yī)學(xué)領(lǐng)域人工智能的新章節(jié)，以及通常對(duì)研發(fā)、技術(shù)性能、經(jīng)濟(jì)的綜述、教育、政策和治理、多樣性和公眾輿論。由于這是一個(gè)非常長的報(bào)告，我們不能完整翻譯，但筆者就感興趣的部分，做了一些摘譯：

AI，一些數(shù)據(jù)

在前沿AI研究章節(jié)中，報(bào)告表示，Epoch AI 是一群致力于研究和預(yù)測(cè)先進(jìn)人工智能演變的研究人員。他們維護(hù)著 20 世紀(jì) 50 年代以來發(fā)布的人工智能和機(jī)器學(xué)習(xí)模型的數(shù)據(jù)庫，根據(jù)最新進(jìn)展、歷史意義或高引用率等標(biāo)準(zhǔn)選擇條目。分析這些模型可以全面概述機(jī)器學(xué)習(xí)領(lǐng)域近年來和過去幾十年的演變。4數(shù)據(jù)集中可能缺少某些模型，然而，數(shù)據(jù)集可以揭示相對(duì)趨勢(shì)。直到 2014 年，學(xué)術(shù)界主導(dǎo)了機(jī)器學(xué)習(xí)模型的發(fā)布。從那時(shí)起，工業(yè)就占據(jù)了主導(dǎo)地位。2023 年，工業(yè)界產(chǎn)生了 51 個(gè)著名的機(jī)器學(xué)習(xí)模型，而學(xué)術(shù)界只有 15 個(gè)（圖 1.3.1）。值得注意的是，2023 年產(chǎn)學(xué)合作產(chǎn)生了 21 個(gè)著名模型，再創(chuàng)新高。為了說明人工智能不斷發(fā)展的地緣政治格局，人工智能指數(shù)研究團(tuán)隊(duì)分析了著名模型的原產(chǎn)國。圖 1.3.2 顯示了研究人員所屬機(jī)構(gòu)所在地的著名機(jī)器學(xué)習(xí)模型總數(shù)。2023 年，美國以 61 個(gè)著名機(jī)器學(xué)習(xí)模型領(lǐng)先，其次是中國（15 個(gè)）和法國（8 個(gè)）。自 2019 年以來，歐盟和英國在著名人工智能模型數(shù)量上首次超過中國產(chǎn)生（圖1.3.3）。自2003年以來，美國生產(chǎn)的模型數(shù)量超過了英國、中國和加拿大等其他主要地理區(qū)域（圖1.3.4）。報(bào)告表示，人工智能模型中的術(shù)語“計(jì)算”表示訓(xùn)練和操作機(jī)器學(xué)習(xí)模型所需的計(jì)算資源。一般來說，模型的復(fù)雜性和訓(xùn)練數(shù)據(jù)集的大小直接影響所需的計(jì)算量。模型越復(fù)雜，底層訓(xùn)練數(shù)據(jù)越大，訓(xùn)練所需的計(jì)算量就越大。圖 1.3.6 直觀地展示了過去 20 年著名機(jī)器學(xué)習(xí)模型所需的訓(xùn)練計(jì)算。最近，著名人工智能模型的計(jì)算使用量呈指數(shù)級(jí)增長。6這種趨勢(shì)在過去五年中尤為明顯。計(jì)算需求的快速增長具有至關(guān)重要的影響。例如，需要更多計(jì)算的模型通常具有更大的環(huán)境足跡，并且公司通?？梢员葘W(xué)術(shù)機(jī)構(gòu)更多地訪問計(jì)算資源。圖 1.3.7?

突出顯示了 2012 年以來著名機(jī)器學(xué)習(xí)模型的訓(xùn)練計(jì)算情況。例如，AlexNet 是推廣使用 GPU 改進(jìn) AI 模型的標(biāo)準(zhǔn)實(shí)踐的論文之一，估計(jì)需要 470 petaFLOP 進(jìn)行訓(xùn)練。最初的 Transformer 于 2017 年發(fā)布，需要大約 7,400 petaFLOPs。谷歌的 Gemini Ultra 是當(dāng)前最先進(jìn)的基礎(chǔ)模型之一，需要 500 億petaFLOPs。

訓(xùn)練模型，到底有多耗錢

關(guān)于基礎(chǔ)模型的討論中的一個(gè)突出話題是它們的推測(cè)成本。盡管人工智能公司很少透露訓(xùn)練模型的費(fèi)用，但人們普遍認(rèn)為這些成本已達(dá)數(shù)百萬美元，并且還在不斷上升。例如，OpenAI 的首席執(zhí)行官 Sam Altman 提到，GPT-4 的訓(xùn)練成本超過 1 億美元。訓(xùn)練費(fèi)用的增加實(shí)際上使傳統(tǒng)上人工智能研究中心的大學(xué)無法開發(fā)自己的前沿基礎(chǔ)模型。作為回應(yīng)，例如拜登總統(tǒng)關(guān)于人工智能的行政命令，試圖通過創(chuàng)建國家人工智能研究資源來平衡工業(yè)界和學(xué)術(shù)界之間的競(jìng)爭(zhēng)環(huán)境，該資源將向非工業(yè)參與者提供進(jìn)行更高水平人工智能所需的計(jì)算和數(shù)據(jù)。了解訓(xùn)練人工智能模型的成本很重要，但有關(guān)這些成本的詳細(xì)信息仍然很少。在去年的出版物中，人工智能指數(shù)是最早對(duì)基礎(chǔ)模型的訓(xùn)練成本進(jìn)行估算的指數(shù)之一。今年，AI Index 與人工智能研究機(jī)構(gòu) Epoch AI 合作，大幅增強(qiáng)和鞏固了 AI 訓(xùn)練成本估算的穩(wěn)健性。為了估算前沿模型的成本，Epoch 團(tuán)隊(duì)還分析了訓(xùn)練時(shí)長,使用與模型相關(guān)的出版物、新聞稿或技術(shù)報(bào)告中的信息，如訓(xùn)練硬件的類型、數(shù)量和利用率。圖 1.3.21 根據(jù)云計(jì)算租賃價(jià)格直觀地顯示了與選定 AI 模型相關(guān)的估計(jì)培訓(xùn)成本。AI Index的估計(jì)證實(shí)了人們的懷疑，即近年來模型訓(xùn)練成本大幅增加。例如，2017 年，最初的 Transformer 模型引入了幾乎所有現(xiàn)代LLM的架構(gòu)，訓(xùn)練成本約為 900 美元。RoBERTa Large 于 2019 年發(fā)布，在許多規(guī)范理解上取得了最先進(jìn)的結(jié)果 SQuAD 和 GLUE 等基準(zhǔn)測(cè)試的訓(xùn)練成本約為 160,000 美元?？爝M(jìn)到 2023 年，OpenAI 的 GPT-4 和谷歌的 Gemini Ultra 的訓(xùn)練成本估計(jì)分別約為 7800 萬美元和 1.91 億美元。

正如之前的AI Index報(bào)告所確定的那樣，人工智能模型的訓(xùn)練成本與其計(jì)算要求之間存在直接相關(guān)性。如圖 1.3.23 所示，具有更多計(jì)算訓(xùn)練的模型需要更高的訓(xùn)練成本。

最后IEEE通過15張圖，總結(jié)人工智能現(xiàn)狀。

15張圖，總結(jié)人工智能現(xiàn)狀

1. 生成式人工智能投資猛增盡管去年企業(yè)投資總體下降，但對(duì)生成式人工智能的投資卻大幅增長。今年報(bào)告的主編Nestor Maslej告訴IEEE Spectrum，這種繁榮預(yù)示著 2023 年的更廣泛趨勢(shì)，因?yàn)槭澜缯谂?yīng)對(duì)ChatGPT和圖像生成DALL-E 2等生成人工智能系統(tǒng)的新功能和風(fēng)險(xiǎn)?！叭ツ甑墓适率顷P(guān)于人們對(duì)生成人工智能的反應(yīng)，”Maslej 說，“無論是在政策方面，無論是在公眾輿論中，還是在擁有更多投資的行業(yè)中?！眻?bào)告中的另一張圖表顯示，生成式人工智能的私人投資大部分發(fā)生在美國。”

2.谷歌在基礎(chǔ)模型競(jìng)賽中占據(jù)主導(dǎo)地位

基礎(chǔ)模型是大型多用途模型，例如，OpenAI 的GPT-3和GPT-4是使ChatGPT用戶能夠編寫代碼或莎士比亞十四行詩的基礎(chǔ)模型。由于訓(xùn)練這些模型通常需要大量資源，因此工業(yè)界現(xiàn)在制造了大部分模型，而學(xué)術(shù)界只提供了少量資源。公司發(fā)布基礎(chǔ)模型既是為了推動(dòng)最先進(jìn)的技術(shù)發(fā)展，也是為了為開發(fā)人員提供構(gòu)建產(chǎn)品和服務(wù)的基礎(chǔ)。谷歌在 2023 年發(fā)布了最多的內(nèi)容。

3.封閉模型優(yōu)于開放模型

目前人工智能領(lǐng)域的熱門爭(zhēng)論之一是基礎(chǔ)模型應(yīng)該開放還是封閉，一些人激烈地認(rèn)為開放模型是危險(xiǎn)的，而另一些人則堅(jiān)持開放模型驅(qū)動(dòng)創(chuàng)新。AI 指數(shù)并沒有介入這場(chǎng)爭(zhēng)論，而是著眼于諸如已發(fā)布了多少開放式和封閉式模型等趨勢(shì)（此處未包含的另一張圖表顯示，在 2023 年發(fā)布的 149 個(gè)基礎(chǔ)模型中，有 98 個(gè)是開放式的， 23 個(gè)通過 API 提供了部分訪問權(quán)限，28 個(gè)已封閉）。

上圖揭示了另一個(gè)方面：在許多常用的基準(zhǔn)測(cè)試中，封閉模型的表現(xiàn)優(yōu)于開放模型。Maslej 表示，關(guān)于開放式與封閉式的爭(zhēng)論“通常圍繞風(fēng)險(xiǎn)擔(dān)憂，但很少討論是否存在有意義的性能權(quán)衡”。

4.基礎(chǔ)模型變得超級(jí)昂貴

這就是為什么工業(yè)界在基礎(chǔ)模型領(lǐng)域占據(jù)主導(dǎo)地位：培訓(xùn)一個(gè)大模型需要大量資金。但具體有多深呢？人工智能公司很少透露訓(xùn)練模型所涉及的費(fèi)用，但人工智能指數(shù)通過與人工智能研究組織Epoch AI合作，超出了典型的猜測(cè)。報(bào)告解釋說，為了做出成本估算，Epoch 團(tuán)隊(duì)利用從出版物、新聞稿和技術(shù)報(bào)告中收集的信息“分析了培訓(xùn)持續(xù)時(shí)間以及培訓(xùn)硬件的類型、數(shù)量和利用率”。有趣的是，谷歌2017 年的 Transformer 模型引入了支撐當(dāng)今幾乎所有大型語言模型的架構(gòu)，訓(xùn)練費(fèi)用僅為 930 美元。

5.它們的碳足跡很大

AI Index 團(tuán)隊(duì)還估算了某些大型語言模型的碳足跡。報(bào)告指出，模型之間的差異是由于模型大小、數(shù)據(jù)中心能源效率和能源網(wǎng)碳強(qiáng)度等因素造成的。報(bào)告中的另一張圖表（此處未包含）顯示了對(duì)與推理相關(guān)的排放的初步猜測(cè)（當(dāng)模型正在執(zhí)行其訓(xùn)練的工作時(shí)），并呼吁對(duì)此主題進(jìn)行更多披露。正如報(bào)告指出的那樣：“雖然每次查詢的推理排放量可能相對(duì)較低，但當(dāng)模型每天被查詢數(shù)千次甚至數(shù)百萬次時(shí)，總影響可能超過訓(xùn)練的影響?！?/p>

6. 美國在基礎(chǔ)模型方面處于領(lǐng)先地位

雖然 Maslej 表示該報(bào)告并不是試圖“宣布這場(chǎng)競(jìng)賽的獲勝者”，但他確實(shí)指出，美國在幾個(gè)方面處于領(lǐng)先地位，包括發(fā)布的基礎(chǔ)模型數(shù)量（下圖）以及被視為重大技術(shù)進(jìn)步的人工智能系統(tǒng)數(shù)量。不過，他指出，中國在其他方面處于領(lǐng)先地位，包括人工智能專利授權(quán)和工業(yè)機(jī)器人安裝。

7. 業(yè)界呼喚新博士

考慮到之前討論的有關(guān)行業(yè)在生成人工智能方面獲得大量投資并發(fā)布大量令人興奮的模型的數(shù)據(jù)，這一點(diǎn)并不令人意外。2022 年（該指數(shù)有數(shù)據(jù)的最近一年），北美 70% 的新人工智能博士在工業(yè)界就業(yè)。這是過去幾年趨勢(shì)的延續(xù)。

8.多樣性方面取得的一些進(jìn)展

多年來，在減少人工智能中白人和男性的數(shù)量方面幾乎沒有取得任何進(jìn)展。但今年的報(bào)告提供了一些充滿希望的跡象。例如，參加 AP 計(jì)算機(jī)科學(xué)考試的非白人和女性學(xué)生數(shù)量正在增加。上圖顯示了種族趨勢(shì)，而另一張圖表（此處未包含）顯示，現(xiàn)在參加考試的學(xué)生中有 30% 是女孩。

報(bào)告中的另一張圖表顯示，在本科階段，獲得計(jì)算機(jī)科學(xué)學(xué)士學(xué)位的北美學(xué)生的種族多樣性也呈現(xiàn)出積極的趨勢(shì)，盡管獲得計(jì)算機(jī)科學(xué)學(xué)士學(xué)位的女性人數(shù)在過去五年中幾乎沒有變化。Maslej 說：“重要的是要知道這里還有很多工作要做?！?/p>

9. 財(cái)報(bào)電話會(huì)議上的閑聊

企業(yè)已經(jīng)意識(shí)到人工智能的可能性。該指數(shù)從市場(chǎng)情報(bào)公司Quid獲取了有關(guān)財(cái)富 500 強(qiáng)公司財(cái)報(bào)電話會(huì)議的數(shù)據(jù)，該公司使用自然語言處理工具掃描所有提及“人工智能”、“AI”、“機(jī)器學(xué)習(xí)”、“ML”和“深度學(xué)習(xí)?！苯?80% 的公司在電話會(huì)議中討論了人工智能。“我認(rèn)為企業(yè)領(lǐng)導(dǎo)者擔(dān)心，如果他們不使用這項(xiàng)技術(shù)，他們就會(huì)錯(cuò)過機(jī)會(huì)，”馬斯萊說。

雖然其中一些閑聊可能只是首席執(zhí)行官們閑聊流行語，但報(bào)告中的另一張圖表顯示，麥肯錫調(diào)查中 55% 的公司已經(jīng)在至少一個(gè)業(yè)務(wù)部門實(shí)施了人工智能。

10. 成本下降，收入上升

這就是為什么人工智能不僅僅是一個(gè)企業(yè)流行語：麥肯錫的同一項(xiàng)調(diào)查顯示，人工智能的整合導(dǎo)致公司成本下降，收入上升?？傮w而言，42% 的受訪者表示成本降低了，59% 的受訪者聲稱收入增加了。

報(bào)告中的其他圖表表明，這種對(duì)利潤的影響反映了效率的提高和工人生產(chǎn)力的提高。2023年，不同領(lǐng)域的多項(xiàng)研究表明，人工智能使工人能夠更快地完成任務(wù)并生產(chǎn)出更高質(zhì)量的工作。一項(xiàng)研究著眼于使用Copilot 的程序員，而其他研究則著眼于顧問、呼叫中心代理和法學(xué)院學(xué)生?！斑@些研究還表明，盡管每個(gè)工人都受益，但人工智能對(duì)低技能工人的幫助比對(duì)高技能工人的幫助更大，”馬斯萊說。

11.企業(yè)確實(shí)感知到風(fēng)險(xiǎn)

今年，AI Index 團(tuán)隊(duì)對(duì)全球 1000 家收入至少 5 億美元的公司進(jìn)行了調(diào)查，以了解企業(yè)如何看待負(fù)責(zé)任的 AI。結(jié)果表明，隱私和數(shù)據(jù)治理被認(rèn)為是全球最大的風(fēng)險(xiǎn)，而公平性（通常在算法偏差方面討論）仍然沒有得到大多數(shù)公司的認(rèn)可。報(bào)告中的另一張圖表顯示，企業(yè)正在針對(duì)其感知的風(fēng)險(xiǎn)采取行動(dòng)：跨地區(qū)的大多數(shù)組織都實(shí)施了至少一項(xiàng)負(fù)責(zé)任的人工智能措施來應(yīng)對(duì)相關(guān)風(fēng)險(xiǎn)。

12.人工智能還不能在所有事情上擊敗人類......

近年來，人工智能系統(tǒng)在一系列任務(wù)上的表現(xiàn)都優(yōu)于人類，包括閱讀理解和視覺推理，Maslej 指出，人工智能性能改進(jìn)的步伐也在加快?！笆昵?，有了像 ImageNet 這樣的基準(zhǔn)，你可以依靠它來挑戰(zhàn)人工智能研究人員五六年，”他說?！艾F(xiàn)在，針對(duì)競(jìng)賽級(jí)別的數(shù)學(xué)引入了新的基準(zhǔn)，人工智能從 30% 開始，然后在一年內(nèi)達(dá)到 90%?！彪m然人類在復(fù)雜的認(rèn)知任務(wù)中仍然表現(xiàn)優(yōu)于人工智能系統(tǒng)，但讓我們明年看看情況如何。

13. 制定人工智能責(zé)任規(guī)范

當(dāng)人工智能公司準(zhǔn)備發(fā)布大型模型時(shí)，標(biāo)準(zhǔn)做法是根據(jù)該領(lǐng)域的流行基準(zhǔn)對(duì)其進(jìn)行測(cè)試，從而讓人工智能社區(qū)了解模型在技術(shù)性能方面如何相互比較。然而，根據(jù)負(fù)責(zé)任的 AI 基準(zhǔn)測(cè)試模型的情況并不常見，這些基準(zhǔn)評(píng)估RealToxicityPrompts和ToxiGen、響應(yīng)中的BOLD和BBQ以及TruthfulQA等。這種情況開始發(fā)生變化，因?yàn)槿藗冊(cè)絹碓揭庾R(shí)到，根據(jù)這些基準(zhǔn)檢查模型是負(fù)責(zé)任的事情。然而，報(bào)告中的另一張圖表顯示缺乏一致性：開發(fā)人員正在根據(jù)不同的基準(zhǔn)測(cè)試他們的模型，這使得比較變得更加困難。

14.法律既促進(jìn)又限制人工智能

2016年至2023年間，人工智能指數(shù)發(fā)現(xiàn)，有33個(gè)國家通過了至少一項(xiàng)與人工智能相關(guān)的法律，其中大部分行動(dòng)發(fā)生在美國和歐洲；在此期間，總共通過了 148 項(xiàng)與人工智能相關(guān)的法案。該指數(shù)研究人員還將法案分為旨在增強(qiáng)國家人工智能能力的擴(kuò)張性法律或限制人工智能應(yīng)用和使用的限制性法律。盡管許多法案繼續(xù)推動(dòng)人工智能發(fā)展，但研究人員發(fā)現(xiàn)全球存在限制性立法的趨勢(shì)。

15.人工智能讓人緊張

該指數(shù)的民意數(shù)據(jù)來自一項(xiàng)關(guān)于人工智能態(tài)度的全球調(diào)查，調(diào)查來自 31 個(gè)國家的 22,816 名成年人（16 歲至 74 歲）。超過一半的受訪者表示人工智能讓他們感到緊張，這一比例高于去年的 39%。三分之二的人現(xiàn)在預(yù)計(jì)人工智能將在未來幾年深刻改變他們的日常生活。

Maslej 指出，該指數(shù)中的其他圖表顯示不同人群的觀點(diǎn)存在顯著差異，年輕人更傾向于對(duì)人工智能將如何改變他們的生活持樂觀態(tài)度。有趣的是，“這種人工智能悲觀情緒很多來自西方發(fā)達(dá)國家”，他說，而印度尼西亞和泰國等地的受訪者則表示，他們預(yù)計(jì)人工智能的利大于弊。