LLM風(fēng)口背后，ChatGPT的成本問題

趁著ChatGPT這一熱門話題還未消退，我們來聊一聊這類大規(guī)模語言模型（LLM）或通用人工智能（AGI）背后的細節(jié)。畢竟目前相關(guān)的概念股跟風(fēng)大漲，但還是有不少人在持觀望態(tài)度。無論是國外還是國內(nèi)，有沒有可能做出下一個ChatGPT？以及打造這樣一個模型所需的研發(fā)成本和運營成本究竟是多少。

ChatGPT背后的成本，以及GPU廠商等候多時的增長點

首先，ChatGPT是OpenAI預(yù)訓(xùn)練的對話模型，除去訓(xùn)練本身所需的硬件與時間成本外，運營時的推理成本也要算在其中。根據(jù)UBS分析師Timothy Arcuri的觀點，ChatGPT使用到了至少1萬塊英偉達的GPU來運營這一模型。不過這還是相對較為保守的數(shù)據(jù)，根據(jù)Semianalysis分析師Dylan Patel對模型參數(shù)、日活躍用戶數(shù)以及硬件利用率等種種因素的分析，他粗略估計OpenAI需要用到3617個HGX A100服務(wù)器來維持ChatGPT的運轉(zhuǎn)。

需要注意的是，該分析中的HGX A100服務(wù)器是8塊A100 SXM的定制化模塊，并非DGX A100這樣集成了AMD CPU的標準服務(wù)器模塊，也就是說共需28936塊英偉達A100 GPU。且不說A100本身就高昂的售價，更何況現(xiàn)在還有一定的溢價。一張40GB的A100 PCIe卡，目前在亞馬遜上的單價為8000多美元，而80GB的A100 PCIe卡價格在15000美元左右浮動。

由此估算，運行ChatGPT的前期設(shè)備投入成本少說也有2.3億美元，這其中還沒算進CPU、內(nèi)存、硬盤和網(wǎng)關(guān)等設(shè)備的硬件成本。所有GPU同時運轉(zhuǎn)時的TDP功耗達到7234kW。按照美國商用電價來計算的話，哪怕是每日運轉(zhuǎn)單由GPU帶來的電費也至少要兩萬美元以上。這樣的設(shè)備成本除非是微軟、谷歌、亞馬遜這樣本就手握大把服務(wù)器硬件資源的廠商，否則很難支撐這一模型的日常運轉(zhuǎn)。

接著我們再從每次查詢的推理成本這個角度來看，如果只負責(zé)在服務(wù)器上部署ChatGPT的OpenAI無需考慮設(shè)備購入成本，而是只考慮GPU云服務(wù)器的定價。根據(jù)Dylan Patel的估算，ChatGPT每次查詢的成本為0.36美分，約合2.4分人民幣，每天在硬件推理上的成本也高達70萬美元。由此來看，無論是OpenAI現(xiàn)在免費提供的ChatGPT，還是微軟在Bing上啟用的ChatGPT，其實都是在大把燒錢。

要知道，現(xiàn)在還只是用到了ChatGPT這一文本語言模型，根據(jù)OpenAI的CEO Sam Altman的說法，他們的AI視頻模型也在準備當中。而要想打造更復(fù)雜的視頻模型，勢必會對GPU算力提出更高的要求。

未來的硬件成本會更低嗎？

對于任何一個想要運行ChatGPT這類服務(wù)的廠商，打造這樣一款應(yīng)用都要付出不小的成本，所以現(xiàn)階段還是微軟、谷歌之類的巨頭相互博弈。但Sam Altman也表示，隨著越來越多的競爭出現(xiàn)，毋庸置疑會把硬件成本壓低，也會把每個Token的定價壓低。
大家可以參照一下其他利用OpenAI的GPT-3的AI工具，比如Jasper。Jasper作為一個人工智能寫作軟件，每月需要繳納50美元，才能享受5萬字的寫作字數(shù)上限。而反觀ChatGPT，哪怕是目前的免費版也能幫你寫就長篇故事了。而這些工具鼓吹的多種模板，在ChatGPT中也只是換一種問法而已。

Sam Altman認為會有更多的玩家入局AGI，如此一來ChatGPT這種類型的服務(wù)會出現(xiàn)在更多的產(chǎn)品和應(yīng)用中，而不再只是作為大廠的附庸，比如只在微軟的Bing、Office中大規(guī)模使用等，這也是OpenAI還考慮授權(quán)給其他公司的原因。

不過如果依照谷歌的訪問和搜索量來部署ChatGPT或Bard這樣類似模型的話，所需的成本必定要遠遠高于Bing，畢竟谷歌依然是目前國際領(lǐng)先的搜索引擎。

如果谷歌用其TPU之類的專用硬件來完成LLM的訓(xùn)練與推理，其成本必然顯著低于GPU這類通用硬件的，畢竟TPU這類ASIC芯片在量產(chǎn)成本和運行功耗上都有著得天獨厚的優(yōu)勢。

但谷歌如果使用專用硬件的話，可能會存在強制綁定的問題，哪怕谷歌選擇公開TPU商業(yè)運營，如果想用集成Bard的合作客戶也基本與谷歌云綁定了，就像現(xiàn)在的ChatGPT與微軟Azure強制綁定一樣。而且如果Bard出現(xiàn)算法路線上的大變動，TPU這種ASIC方案很難再對其進行針對性優(yōu)化。

由此可以看出，雖然大小入局者眾多，但真正落地、可大規(guī)模使用且還算好用的產(chǎn)品還是只有ChatGPT一個，要想等到行業(yè)內(nèi)卷壓低成本，可能還得等上很長一段時間。


ChatGPT如何實現(xiàn)盈利？

微軟高調(diào)宣布與OpenAI合作，并將ChatGPT融入Bing等一系列微軟產(chǎn)品中，這已經(jīng)不是什么新聞了。但其實這樣的合作關(guān)系昭示了ChatGPT的一種盈利方式，那就是授權(quán)。除了微軟這種深度合作的廠商以外，其他應(yīng)用開發(fā)商也可以采用授權(quán)的方式，將ChatGPT集成到自己的產(chǎn)品中去。

不過Sam Altman在接受外媒采訪時表示，他們目前在授權(quán)上的合作還并不多。由此猜測，要么是此類授權(quán)費用昂貴，要么就是缺少成熟的產(chǎn)品形態(tài)來應(yīng)用這一技術(shù)，畢竟當下還算強相關(guān)的應(yīng)用也只有搜索引擎、寫作工具以及AI助手等。再說，對于感興趣想嘗鮮的廠商來說，直接接入OpenAI的API或許價格反倒更低。

另一種盈利方式，也是現(xiàn)在最流行且已被普遍接受的收費模式，訂閱制。2月1日，OpenAI正式推出了20美元一個月的ChatGPT Plus，提供高峰時期的訪問、更快的響應(yīng)速度以及新功能和改進的搶先體驗。


結(jié)語

總的來說，ChatGPT這類AGI作為元宇宙之后的又一大風(fēng)口，激發(fā)了一股初創(chuàng)公司入局LLM的熱潮。但從客觀來看，對于這些初創(chuàng)公司來說，他們打從一開始根本不需要考慮市場風(fēng)險，比如這會不會是個偽需求。他們更應(yīng)該擔(dān)心的應(yīng)該是技術(shù)風(fēng)險，也就是究竟有沒有這個實力和資本去打造一個可用的LLM。