GPT-5快來了？訓(xùn)練或需5萬張H100顯卡

最近，openai宣布推出了一種名為gptbot的網(wǎng)絡(luò)跟蹤工具，可以自動(dòng)截取網(wǎng)站數(shù)據(jù)。而且，openai向美國(guó)專利廳（uspto）申請(qǐng)了“gpt-5”的商標(biāo)。因此有人推測(cè)，openai正在訓(xùn)練更先進(jìn)的ai系統(tǒng)。

openai從gpt-4開始對(duì)技術(shù)細(xì)節(jié)進(jìn)行了徹底的保密，最初只對(duì)一份技術(shù)報(bào)告進(jìn)行了基準(zhǔn)測(cè)試，而沒有提及訓(xùn)練數(shù)據(jù)和模型參數(shù)。但是，gpt-4的培訓(xùn)需要大量的數(shù)據(jù)，并不是付費(fèi)就能解決的問題。openai使用網(wǎng)絡(luò)爬行動(dòng)物。

此次openai直接公開了——gptbot。openai表示：“使用gptbot搜索網(wǎng)絡(luò)數(shù)據(jù)是為了提高ai模型的準(zhǔn)確性、功能和安全性?！钡?，網(wǎng)站所有者可以根據(jù)需要允許或限制gptbot對(duì)網(wǎng)站數(shù)據(jù)的訪問。

openai于7月18日提交了“gpt-5”的商標(biāo)申請(qǐng)，并將由美國(guó)專利廳（patent office）作為滿足申請(qǐng)條件的申請(qǐng)條件接受，之后將得到審查人員的批準(zhǔn)。這些跡象表明gpt-5即將上市。

在業(yè)界的討論下，gpt-5將有新的功能，包括多模態(tài)。目前，gpt-4只能處理文本和圖像兩種數(shù)據(jù)，但人們期待gpt-5在聲音、視頻等其他形式上也能取得突破性的發(fā)展。隨著gpt-4的發(fā)展，預(yù)計(jì)gpt-5將發(fā)展成為saas （software-service）平臺(tái)。也就是說，gpt-5不是一個(gè)簡(jiǎn)單的軟件，它可以整合到多個(gè)網(wǎng)站、移動(dòng)應(yīng)用程序和計(jì)算機(jī)系統(tǒng)，并且可以在多個(gè)垂直領(lǐng)域擁有插件。

但是gpt-5訓(xùn)練需要更大的計(jì)算能力。據(jù)一篇論文預(yù)測(cè)，gpt-5需要30000到50000張集成到h100的顯卡。人們推測(cè)gpt-4可能被訓(xùn)練成10，000到25，000張a100。meta擁有約21000張，特斯拉擁有約7000張，stability ai擁有約5000張，palcon -40b擁有約384張a100。