GPT-5正秘密訓(xùn)練！DeepMind聯(lián)創(chuàng)爆料，這模型比GPT-4大100倍

【導(dǎo)讀】GPT-5仍在秘密訓(xùn)練中！DeepMind聯(lián)合創(chuàng)始人在近日采訪中透露，未來(lái)3年，Inflection模型要比現(xiàn)在的GPT-4大1000倍。

近來(lái)，DeepMind聯(lián)合創(chuàng)始人Mustafa Suleyman，現(xiàn)Inflection AI的CEO，在采訪時(shí)投出了重磅炸彈：

OpenAI正在秘密訓(xùn)練GPT-5。

我認(rèn)為我們都直截了當(dāng)?shù)卣f(shuō)會(huì)更好。這就是為什么我們披露了擁有的計(jì)算總量。

在未來(lái)18個(gè)月內(nèi)，Inflection AI訓(xùn)練的模型比當(dāng)前的前沿模型大100倍。未來(lái)3年內(nèi)，Inflection的模型比現(xiàn)在大1000倍。

其實(shí)，Sam Altman此前曾否認(rèn)訓(xùn)練GPT-5的這一說(shuō)法。

對(duì)此，網(wǎng)友表示，OpenAI可能給它起了一個(gè)新名字，所以他們才說(shuō)沒(méi)有訓(xùn)練GPT-5。

這就像當(dāng)時(shí)Code Interpreter推出一樣，許多人感覺(jué)其能力早已不是GPT-4模型，而應(yīng)該是GPT-4.5。

另外，采訪中，Suleyman還爆出了很多自己在DeepMind和Inflection AI工作時(shí)的內(nèi)部信息，包括了谷歌當(dāng)時(shí)收購(gòu)DeepMind和之后的抓馬，某種程度上解釋了為什么DeepMind相比于OpenAI「起了個(gè)大早，卻趕了個(gè)晚集」。

他還認(rèn)為，開(kāi)源模型可能會(huì)增加AI帶給人類的不穩(wěn)定和危害。

而AI安全性最大的威脅來(lái)源并不是大語(yǔ)言模型，而是未來(lái)可能出現(xiàn)的自主智能體。

訪談全文

當(dāng)被問(wèn)到未來(lái)AI是否有可能會(huì)成為一個(gè)有自主進(jìn)化能力的智能體時(shí)，Suleyman認(rèn)為：

在短期之內(nèi)，不太可能出現(xiàn)這種智能體——能夠自主運(yùn)行，能夠制定自己的目標(biāo)，能夠識(shí)別環(huán)境中的新信息、新的獎(jiǎng)勵(lì)信號(hào)，并學(xué)會(huì)用它作為自我監(jiān)督，并且隨著時(shí)間的推移更新自己權(quán)重的人工智能體。

但是這種自主進(jìn)化能力的AI是所有人都不應(yīng)該忽視的東西，因?yàn)槿绻撤NAI技術(shù)真的展現(xiàn)出這種能力的，它可能會(huì)有非常大的潛在風(fēng)險(xiǎn)。

至少他知道的范圍之內(nèi)，Inflection AI和DeepMind都沒(méi)有在往這個(gè)方向上走。

Inflection AI不是一家AGI公司，他們想做的事就是希望能夠做出一個(gè)非常好用的個(gè)人助理。這個(gè)助理在能夠充分訪問(wèn)用戶個(gè)人信息的前提下，為用戶提供高度定制化的AI服務(wù)。

模型訓(xùn)練軍備競(jìng)賽會(huì)加劇AI的風(fēng)險(xiǎn)嗎？

他的公司，Inflection AI正在建造世界上最大的超級(jí)計(jì)算機(jī)之一，并且他認(rèn)為在接下來(lái)的18個(gè)月內(nèi)，他們可能會(huì)進(jìn)行一次比制造GPT-4的語(yǔ)言模型訓(xùn)練運(yùn)行大10倍或100倍的訓(xùn)練運(yùn)行。

當(dāng)被問(wèn)到，這種軍備競(jìng)賽式的訓(xùn)練模型可能會(huì)增加AI的風(fēng)險(xiǎn)嗎，他回答到：

100倍的訓(xùn)練仍然會(huì)產(chǎn)生一個(gè)聊天機(jī)器人，可以理解為一個(gè)更好的GPT-4，盡管這會(huì)成為一個(gè)更令人印象深刻的模型，但這并不危險(xiǎn)——因?yàn)樗狈ψ灾餍裕荒芨脑煳锢硎澜绲茸屇Ｐ妥陨碜兊梦ｋU(xiǎn)的基本要素。

僅僅生產(chǎn)一個(gè)非常好的、更好的 GPT-4 還不算危險(xiǎn)；為了讓它變得危險(xiǎn)，我們需要增加其他能力，比如前邊提到的，讓模型能夠自我迭代，自我制定目標(biāo)等等。

那大約是五年、十年、十五年、二十年之后的事了。

Suleyman認(rèn)為，Sam Altman最近說(shuō)過(guò)他們沒(méi)有訓(xùn)練 GPT-5，可能沒(méi)有說(shuō)實(shí)話。（Come on. I don’t know. I think it’s better that we’re all just straight about it.）

他希望所有擁有大規(guī)模算力的公司都能盡可能的保持透明，這也是他們披露自己擁有的計(jì)算總量的原因。

他們正在訓(xùn)練比GPT-4更大的模型。目前，他們有6000臺(tái)H100正在訓(xùn)練模型。

到12月，22,000個(gè)H100全面投入運(yùn)營(yíng)。從現(xiàn)在開(kāi)始，每個(gè)月都會(huì)增加1000到2000臺(tái)H100。

他認(rèn)為谷歌DeepMind也應(yīng)該做同樣的事情，應(yīng)該披露Gemini接受了多少FLOPS訓(xùn)練。

AI訓(xùn)練成本將如何變化

從算力成本的角度來(lái)看，未來(lái)AI訓(xùn)練的規(guī)模不可能達(dá)到訓(xùn)練某個(gè)模型需要100億美元的成本，除非真的有人會(huì)花3年時(shí)間去訓(xùn)練一個(gè)模型，因?yàn)槎询B越多算力去訓(xùn)練一個(gè)越大的模型，需要的時(shí)間也會(huì)更長(zhǎng)。

雖然花的成本越高，可能能帶來(lái)更強(qiáng)的能力，但是這不是一個(gè)沒(méi)有上限的數(shù)學(xué)問(wèn)題，需要考慮很多實(shí)際情況的限制。

但是因?yàn)樗懔Τ杀倦S著芯片算力的迭代在不斷下降，所以未來(lái)可能會(huì)出現(xiàn)訓(xùn)練某個(gè)模型的成本相當(dāng)于在2022年花費(fèi)了100億美元來(lái)訓(xùn)練。

但是因?yàn)樾酒懔?huì)以2-3倍的效率增長(zhǎng)，所以到時(shí)候訓(xùn)練一個(gè)這樣規(guī)模的成本會(huì)遠(yuǎn)遠(yuǎn)小于現(xiàn)在看起來(lái)的成本。

比如說(shuō)，現(xiàn)在開(kāi)源社區(qū)中的Llama2或者Falcon等模型，只有15億參數(shù)或20億參數(shù)，就獲得了有1750億參數(shù)的GPT-3的參數(shù)的能力。

開(kāi)源的看法

作為一直在閉源科技公司工作的Suleyman，對(duì)于開(kāi)源模型的價(jià)值和可能的風(fēng)險(xiǎn)，有非常與眾不同的觀點(diǎn)。

首先，他認(rèn)為，在未來(lái)5年這個(gè)時(shí)間維度之內(nèi)，開(kāi)源模型始終會(huì)落后最前沿的閉源模型3-5年的時(shí)間

而且，開(kāi)源模型會(huì)增加AI帶來(lái)的社會(huì)風(fēng)險(xiǎn)。

如果所有人都能無(wú)限制地訪問(wèn)最新的模型，將會(huì)出現(xiàn)一個(gè)現(xiàn)象——「力量的快速擴(kuò)散」。

舉個(gè)栗子，就像新媒體平臺(tái)讓每個(gè)人都可以作為一份完整的報(bào)紙發(fā)揮作用，擁有數(shù)百萬(wàn)粉絲，甚至能影響全世界。

對(duì)于最前沿模型的無(wú)限制訪問(wèn)將會(huì)擴(kuò)大這種力量，因?yàn)樵谖磥?lái)3年內(nèi)，人類能夠訓(xùn)練出比現(xiàn)有模型規(guī)模大上1000倍的模型。

即便是Inflection AI，也能在未來(lái)18個(gè)月內(nèi)獲得比現(xiàn)在最前沿的模型大100倍的計(jì)算能力。

而開(kāi)源的大模型會(huì)將這種力量交到每個(gè)人的手中，相當(dāng)于給了每個(gè)人一個(gè)潛在的大規(guī)模不穩(wěn)定破壞性的工具。

而到時(shí)候，再想辦法避免這些工具可能產(chǎn)生的破壞性后果，有人做了一個(gè)很巧妙的比喻——圖試圖通過(guò)用手接住雨水來(lái)讓雨停下來(lái)。

他曾經(jīng)向監(jiān)管部門(mén)解釋過(guò)，AI技術(shù)未來(lái)會(huì)降低很多潛在危險(xiǎn)化合物或者武器的開(kāi)發(fā)門(mén)檻。

AI能在實(shí)際制作這些東西時(shí)提供大量的幫助——比如告知在實(shí)驗(yàn)室中遇到技術(shù)挑戰(zhàn)時(shí)從哪里獲取工具等等。不過(guò)確實(shí)，從預(yù)訓(xùn)練中刪除這些內(nèi)容，對(duì)模型進(jìn)行對(duì)齊等等辦法，可以有效地降低這樣的風(fēng)險(xiǎn)。

總之，對(duì)于用大模型能力來(lái)做壞事的人，需要盡量讓他們?cè)谧鲞@些事的時(shí)候變得困難。

但是如果盡可能的開(kāi)源一切模型，未來(lái)面對(duì)能力越來(lái)越強(qiáng)的模型，將會(huì)把更多的類似風(fēng)險(xiǎn)暴露出來(lái)。

所以雖然開(kāi)源模型對(duì)于很多人來(lái)說(shuō)確實(shí)是一件好事，能夠讓所有人都獲得模型并且進(jìn)行各種各樣的嘗試，帶來(lái)技術(shù)上的創(chuàng)新和改進(jìn)，但是也一定要看到開(kāi)源的風(fēng)險(xiǎn)，因?yàn)椴⒉皇敲總€(gè)人都是善意和友好的。

雖然我說(shuō)這樣的話可能會(huì)被很多人理解為我做的事和開(kāi)源社區(qū)存在利益沖突，因此很多人可能會(huì)很生氣，但是我還是要表達(dá)我的觀點(diǎn)。

他還強(qiáng)調(diào)了，他不是為了攻擊開(kāi)源社區(qū)才說(shuō)出這番言論的：

「雖然我說(shuō)這樣的話可能會(huì)被很多人理解為我做的事和開(kāi)源社區(qū)存在利益沖突，因此很多人可能會(huì)很生氣，但是我還是要表達(dá)我的觀點(diǎn)，也希望獲得人們的支持?！?/p>

在谷歌和DeepMind期間的抓馬

在DeepMind度過(guò)的10年里，他花了大量時(shí)間試圖將更多的外部監(jiān)督融入到構(gòu)建AI技術(shù)的過(guò)程中。

這是一個(gè)相當(dāng)痛苦的過(guò)程。雖然他認(rèn)為谷歌的出發(fā)點(diǎn)是好地，但它運(yùn)作的方式仍然像傳統(tǒng)的官僚機(jī)構(gòu)一樣。

當(dāng)我們?cè)O(shè)立了谷歌的倫理委員會(huì)時(shí)，計(jì)劃有九名獨(dú)立成員，是對(duì)于開(kāi)發(fā)敏感技術(shù)過(guò)程中進(jìn)行外部監(jiān)督的重要措施。

但因?yàn)槿蚊艘粋€(gè)保守派人士，而她過(guò)去曾發(fā)表過(guò)一些有爭(zhēng)議的言論，很多網(wǎng)友就在推特等場(chǎng)合抵制她，同時(shí)也抵制其他支持她的幾個(gè)成員，要求他們退出委員會(huì)。

這是一場(chǎng)徹底的悲劇，非常令人沮喪。我們花了兩年時(shí)間來(lái)建立這個(gè)委員會(huì)，這是朝著對(duì)我們正在開(kāi)發(fā)的非常敏感的技術(shù)進(jìn)行外部審查的第一步。

不幸的是，在一周內(nèi)，九名成員中的三名辭職了，最終她也辭職了，然后我們失去了半數(shù)委員會(huì)成員。

然后公司轉(zhuǎn)身說(shuō)：「我們?yōu)槭裁匆腥藖?lái)限制自己？這純粹是浪費(fèi)時(shí)間?！?/p>

其實(shí)，當(dāng)DeepMind被收購(gòu)時(shí)，我們提出了收購(gòu)的條件，即我們要有一個(gè)倫理和安全委員會(huì)。

我們計(jì)劃在倫理和安全委員會(huì)之后，我們要將DeepMind打造成一個(gè)全球利益公司：一個(gè)所有利益相關(guān)者在做決策時(shí)都能發(fā)聲的公司。

它是一個(gè)按擔(dān)保有限責(zé)任公司設(shè)立的公司。然后，我們計(jì)劃制定一個(gè)憲章，為AGI的開(kāi)發(fā)制定相關(guān)的倫理安全的目標(biāo)；這樣使得我們可以將收入的大部分用于科學(xué)和社會(huì)使命。

這是一個(gè)非常有創(chuàng)意和實(shí)驗(yàn)性的結(jié)構(gòu)。但是當(dāng)Alphabet看到設(shè)立倫理委員會(huì)發(fā)生的事情時(shí)，他們變得膽怯了。他們說(shuō)：「這完全瘋了。你們的全球利益公司也會(huì)發(fā)生同樣的事情。為什么要那樣做？」

最終，我們將DeepMind合并進(jìn)入到了谷歌，從某種程度上說(shuō)，DeepMind從未獨(dú)立過(guò)——現(xiàn)在當(dāng)然也完全從屬于谷歌。

谷歌下一代大模型Gemini

The Information獨(dú)家報(bào)道稱，谷歌多模態(tài)人工智能模型Gemini即將面世，直接對(duì)標(biāo)OpenAI的GPT-4。

其實(shí)，在今年谷歌I/O大會(huì)上，劈柴已經(jīng)向大眾宣布，谷歌正在研發(fā)下一代模型Gemini。

有傳言說(shuō)，該模型將至少有1萬(wàn)億參數(shù)，訓(xùn)練將使用數(shù)以萬(wàn)計(jì)的谷歌TPU AI芯片。

與OpenAI類似，谷歌使用GPT-4的方法來(lái)構(gòu)建模型，由多個(gè)具有特定能力的人工智能專家模型組成。

簡(jiǎn)言之，Gemini同樣是一個(gè)混合專家模型（MoE）。

這也可能意味著，谷歌希望提供不同參數(shù)規(guī)模的Gemini，因?yàn)閺某杀拘б嫔峡紤]是個(gè)不錯(cuò)的選擇。

除了生成圖像和文本外，Gemini接受過(guò)YouTube視頻轉(zhuǎn)錄數(shù)據(jù)的訓(xùn)練，也可以生成簡(jiǎn)單的視頻，類似于RunwayML Gen-2。

另外，比起B(yǎng)ard，Gemini在編碼能力方面也得到了顯著提升。

Gemini推出之后，谷歌也計(jì)劃逐步將其整合到自家產(chǎn)品線中，包括升級(jí)Bard，谷歌辦公全家桶、谷歌云等等。

其實(shí)，在Gemini之前，DeepMind還有一個(gè)代號(hào)為「Goodall」的模型，基于未宣布的模型Chipmunk打造，可與ChatGPT匹敵。

不過(guò)GPT-4誕生后，谷歌最后決放棄這一模型研發(fā)。

據(jù)稱，至少有20多位高管參與了Gemini的研發(fā)，DeepMind的創(chuàng)始人Demis Hassabis領(lǐng)導(dǎo)，谷歌創(chuàng)始人Sergey Brin參與研發(fā)。

還有谷歌DeepMind組成的數(shù)百名員工，其中包括前谷歌大腦主管Jeff Dean等等。

Demis Hassabis在此前接受采訪表示，Gemini將結(jié)合AlphaGo類型系統(tǒng)的一些優(yōu)勢(shì)和大型模型驚人的語(yǔ)言能力。

可以看到，谷歌已經(jīng)在全力備戰(zhàn)，就等著Gemini開(kāi)啟逆襲之路。