谷歌Gemini自曝用文心一言訓(xùn)練，字節(jié)被OpenAI封號(hào)，大模型互薅羊毛是常態(tài)？

電子發(fā)燒友網(wǎng)報(bào)道（文/吳子鵬）近兩天，原本就火熱的人工智能大模型再度被澆上了一桶油，話題熱度更勝從前。不過，這一次大家探討的并不是大模型前景和算力這些，而是大模型之間互薅羊毛的問題。根據(jù)微博知名博主@闌夕爆料，對(duì)谷歌Gemini進(jìn)行測試時(shí)，如果用中文詢問Gemini的身份，其回答竟然是百度文心一言。

更讓人大跌眼鏡的是，測試人員可以使用“小愛同學(xué)”“小度”等提示詞喚醒Gemini。并且，Gemini還能夠告訴測試人員，自己是如何獲取到百度的訓(xùn)練數(shù)據(jù)的。

網(wǎng)傳對(duì)話場景


網(wǎng)傳對(duì)話場景

不過，此則消息應(yīng)該是很快就引起了谷歌技術(shù)人員的關(guān)注，在消息曝光不久后，Gemini應(yīng)對(duì)上述提示詞和問題的方式就發(fā)生了改變。通過“小愛同學(xué)”“小度”等提示詞無法再喚醒Gemini，且對(duì)于相關(guān)問題的闡述也發(fā)生了變化，顯然谷歌技術(shù)人員很快修復(fù)了一些bug。

谷歌Gemini飽受質(zhì)疑

當(dāng)?shù)貢r(shí)間12月6日，谷歌宣布推出“最大、最強(qiáng)、最通用”的新大型語言模型Gemini，我們對(duì)此也進(jìn)行了專門的報(bào)道。在發(fā)布會(huì)上谷歌聲稱，在32項(xiàng)廣泛使用的基準(zhǔn)測試中，Gemini Ultra獲得了30個(gè)SOTA（State of the art，特指領(lǐng)先水平的大模型）。這也就意味著，Gemini 1.0版本在文本、代碼、音頻、圖像和視頻處理能力方面，以及推理、數(shù)學(xué)、代碼等方面都吊打GPT-4。

同時(shí)，在發(fā)布會(huì)上谷歌還展示了Gemini相關(guān)的能力。比如，Gemini可以非常高效地從數(shù)十萬份文件中獲取對(duì)科學(xué)家有用的數(shù)據(jù)，并創(chuàng)建數(shù)據(jù)集；Gemini可以在世界上最受歡迎的編程語言（如Python、Java、C++和Go）中理解、解釋和生成高質(zhì)量的代碼。

不過，谷歌是通過視頻展示的Gemini的相關(guān)能力，而不是通過現(xiàn)場實(shí)操。于是乎，就在谷歌發(fā)布會(huì)的次日，有視頻制作人員質(zhì)疑稱，谷歌的演示視頻并不是實(shí)錄，而是剪輯的。隨后，谷歌在博客文章中解釋了多模態(tài)交互過程，并提到了視頻演示中的猜拳，谷歌承認(rèn)，不同于視頻中對(duì)于猜拳手勢的快速反應(yīng)，只有在向Gemini同時(shí)展示這三個(gè)手勢并提示其這是游戲時(shí)，Gemini才會(huì)得出猜拳游戲的結(jié)論。

圖源：谷歌博文

因此，現(xiàn)在很多人都認(rèn)為谷歌夸大了Gemini的能力，只有使用靜態(tài)圖片和多段提示詞拼湊，Gemini才能夠顯示出多模態(tài)的能力，這和谷歌宣稱的實(shí)時(shí)多模態(tài)反應(yīng)明顯是不相符的。

大模型之間互薅羊毛

除了性能質(zhì)疑之外，此次事件則揭露了大模型發(fā)展另一個(gè)規(guī)則——互薅羊毛。實(shí)際上，在Gemini自曝是百度文心一言之前，國內(nèi)字節(jié)跳動(dòng)就發(fā)生了相關(guān)問題。

近日，有外媒報(bào)道稱，字節(jié)跳動(dòng)在使用OpenAI技術(shù)開發(fā)自己的大語言模型，違反了OpenAI服務(wù)條款，導(dǎo)致賬戶被暫停。對(duì)此，字節(jié)跳動(dòng)相關(guān)負(fù)責(zé)人向記者回應(yīng)稱：今年年初，當(dāng)技術(shù)團(tuán)隊(duì)剛開始進(jìn)行大模型的初期探索時(shí)，有部分工程師將GPT的API服務(wù)應(yīng)用于較小模型的實(shí)驗(yàn)性項(xiàng)目研究中。該模型僅為測試，沒有計(jì)劃上線，也從未對(duì)外使用。4月公司引入GPT API調(diào)用規(guī)范檢查后，這種做法已經(jīng)停止。字節(jié)跳動(dòng)稱，后續(xù)會(huì)嚴(yán)格遵守OpenAI的使用協(xié)議。

從Gemini調(diào)整之后的回復(fù)來看，其在訓(xùn)練過程中確實(shí)使用了百度文心一言的訓(xùn)練數(shù)據(jù)，這其實(shí)也無可厚非。百度文心一言在中文理解及相關(guān)的多模態(tài)生成能力方面確實(shí)處于領(lǐng)先的位置，那么背后的原因定然是因?yàn)榘俣日莆罩|(zhì)量相對(duì)更好的中文訓(xùn)練數(shù)據(jù)集，因此其他大模型如果想要在中文對(duì)話方面取得進(jìn)展，使用文心一言的訓(xùn)練數(shù)據(jù)確實(shí)是最高效的方式。

另外，除了字節(jié)跳動(dòng)，此前谷歌也被質(zhì)疑使用OpenAI數(shù)據(jù)來訓(xùn)練Bard，最終谷歌的回應(yīng)是Bard沒有使用ShareGPT或是ChatGPT的任何數(shù)據(jù)來進(jìn)行訓(xùn)練。另外，國內(nèi)也有很多公司被質(zhì)疑是采用OpenAI數(shù)據(jù)來完善自己的大模型。不過，這種行為大都見不得光，因此都被否認(rèn)了。

為什么其他大模型頻傳借用OpenAI數(shù)據(jù)來訓(xùn)練呢，重要原因在于GPT-4性能領(lǐng)先一個(gè)重要的原因就是數(shù)據(jù)集質(zhì)量更高。根據(jù)semianalysis發(fā)布的《GPT-4 Architecture, Infrastructure, Training Dataset, Costs, Vision, MoE》文章，GPT-4是一個(gè)使用1.8萬億巨量參數(shù)訓(xùn)練的模型框架，而GPT-3只有約1750億個(gè)參數(shù)，另外GPT-4擁有16個(gè)專家模型，每個(gè)MLP專家大約有1110億個(gè)參數(shù)。這就是為什么在展示Gemini Ultra的MMLU訓(xùn)練時(shí)，谷歌將“CoT@32”進(jìn)行小字注釋，代表Gemini Ultra的MMLU測試使用了思維鏈提示技巧，嘗試了32次并從中選擇最好結(jié)果。與之對(duì)比，GPT-4無提示詞技巧給5個(gè)示例。就這樣，GPT-4的成績?yōu)?6.4%，依然高于Gemini Ultra的83.7%。

另外，OpenAI用13萬億的token訓(xùn)出了GPT-4。因?yàn)闆]有高質(zhì)量的token，這個(gè)數(shù)據(jù)集還包含了許多個(gè)epoch。

綜上所述，雖然GPT-4的訓(xùn)練數(shù)據(jù)規(guī)模沒有官方說明，但是semianalysis文章可信度很高，這個(gè)規(guī)模比Gemini Ultra宣稱的萬億似乎更強(qiáng)，也不怪大家都想用GPT調(diào)優(yōu)自己的模型。

當(dāng)然，每一個(gè)模型都有自己擅長的地方，尤其是那些垂直的行業(yè)模型，在行業(yè)數(shù)據(jù)方面肯定是優(yōu)于一般多模態(tài)大模型的，因此被薅羊毛的概率也很大，但是這大都不會(huì)被公開。

大模型數(shù)據(jù)集背后的產(chǎn)業(yè)鏈

為了讓GPT-4具有領(lǐng)先的性能，OpenAI的研發(fā)團(tuán)隊(duì)在模型優(yōu)化、數(shù)據(jù)選擇和硬件投入等方面做了大量工作。相信谷歌的Gemini Ultra和百度文心一言等大模型也是如此。對(duì)于大模型來說，預(yù)訓(xùn)練數(shù)據(jù)集是一個(gè)非常關(guān)鍵的元素，很大程度上決定了大模型最終的性能水平。

在這個(gè)大背景下，隨著大模型產(chǎn)業(yè)發(fā)展，訓(xùn)練數(shù)據(jù)也逐漸成為一種產(chǎn)業(yè)。比如國內(nèi)的云測數(shù)據(jù)，云測創(chuàng)立于2011年，是一家以人工智能技術(shù)驅(qū)動(dòng)的企業(yè)服務(wù)平臺(tái)，為全球超過百萬的企業(yè)及開發(fā)者提供云測試服務(wù)、AI訓(xùn)練數(shù)據(jù)服務(wù)、安全服務(wù)。該公司的云測數(shù)據(jù)入選“北京市人工智能行業(yè)賦能典型案例(2023)”，在垂直大模型訓(xùn)練數(shù)據(jù)服務(wù)方面很有造詣。

再比如，海天瑞聲作為國內(nèi)領(lǐng)先基礎(chǔ)數(shù)據(jù)服務(wù)商，是國內(nèi)首家且是目前唯一一家A股上市的人工智能訓(xùn)練數(shù)據(jù)服務(wù)企業(yè)，為阿里巴巴、Meta、騰訊、百度、字節(jié)跳動(dòng)等公司提供數(shù)據(jù)服務(wù)。

北京郵電大學(xué)科學(xué)技術(shù)研究院副院長曾雪云教授此前在受訪時(shí)表示，“互聯(lián)網(wǎng)上生成的這些數(shù)據(jù)，它是非結(jié)構(gòu)化的數(shù)據(jù)，也是非標(biāo)準(zhǔn)化的數(shù)據(jù)。這樣的數(shù)據(jù)就是一種原始的、比較雜亂的、沒有規(guī)范的數(shù)據(jù)，它就需要在計(jì)算前進(jìn)行顆粒度上的清洗，所以高質(zhì)量數(shù)據(jù)通常都有從非結(jié)構(gòu)化到結(jié)構(gòu)化這樣的一個(gè)加工過程。”

“現(xiàn)在從對(duì)數(shù)據(jù)科學(xué)的研究、國家對(duì)數(shù)據(jù)的治理，到學(xué)術(shù)界對(duì)數(shù)據(jù)的研究、產(chǎn)業(yè)界對(duì)數(shù)據(jù)的利用都是一個(gè)藍(lán)海，都是一個(gè)剛開始的狀態(tài)?！痹┰平淌谔岬?。

當(dāng)然不僅國內(nèi)關(guān)注到這一塊的產(chǎn)業(yè)價(jià)值，作為頭部企業(yè)，OpenAI希望與機(jī)構(gòu)合作建立新的人工智能訓(xùn)練數(shù)據(jù)集。OpenAI為此創(chuàng)立了“數(shù)據(jù)伙伴關(guān)系”（Data Partnerships）計(jì)劃，該計(jì)劃旨在與第三方機(jī)構(gòu)合作，建立用于人工智能模型訓(xùn)練的公共和私有數(shù)據(jù)集。OpenAI 在一篇博文中表示，數(shù)據(jù)合作伙伴關(guān)系旨在“讓更多組織能夠幫助引導(dǎo)人工智能的未來”，并“從更有用的模型中獲益”。

結(jié)語

人工智能大模型其實(shí)是大數(shù)據(jù)時(shí)代的典型產(chǎn)物，那么也就無法脫離對(duì)大數(shù)據(jù)的依賴。大模型的火爆讓高質(zhì)量訓(xùn)練數(shù)據(jù)成為高價(jià)值、緊俏的資源，而這些數(shù)據(jù)往往掌握在頭部企業(yè)手里，這就是為什么大模型企業(yè)之間互相會(huì)薅羊毛。不過，相較于互聯(lián)網(wǎng)海量的數(shù)據(jù)，目前科技巨頭的訓(xùn)練數(shù)據(jù)集還只是九牛一毛，如何從海量互聯(lián)網(wǎng)數(shù)據(jù)提取有價(jià)值的訓(xùn)練數(shù)據(jù)集，已經(jīng)逐漸成為一個(gè)產(chǎn)業(yè)鏈。