近日AMD掌門人蘇女士表示,隨著以ChatGPT為代表的大語言模型(LLM)逐漸流行,AI模型的參數(shù)量指數(shù)級(jí)上升,而相應(yīng)地對(duì)于計(jì)算芯片和內(nèi)存的需求也在快速提升,但是目前芯片的效率并不足以滿足模型的需求。根據(jù)目前計(jì)算效率每?jī)赡晏嵘?.2倍的規(guī)律,預(yù)計(jì)到2035年,一個(gè)超級(jí)計(jì)算機(jī)需要的功率可達(dá)500mW,相當(dāng)于半個(gè)核電站能產(chǎn)生的功率。
這不由讓人想起空氣幣的操作,為了從網(wǎng)上“挖礦”,大量的GPU礦機(jī)一起運(yùn)行,同樣需要大量的電力來維持,高峰時(shí)期曾有空氣幣公司把一個(gè)國(guó)家一半的電力給消耗掉。
與空氣幣不停的生產(chǎn)區(qū)塊鏈碎末又不停的在網(wǎng)上搜索區(qū)塊鏈碎末并拼湊區(qū)塊類似,大語言模型(LLM)也是通過在網(wǎng)上搜索大量的數(shù)據(jù),并依賴數(shù)據(jù)的關(guān)聯(lián)性,拼湊出輸入端描述的“語言畫像”。
如ChatGPT 是由 OpenAI 研發(fā)的一種語言 AI 模型,使用海量語料庫(kù)來生成與人類相 似的反應(yīng)。ChatGPT 是基于 GPT(generativef pretrained’ transformer)架構(gòu)搭建的, 主要用深度學(xué)習(xí)來生成連貫且具有意義的文字。這個(gè)模型使用了來自于網(wǎng)站、書本和社交媒體的海量文字?jǐn)?shù)據(jù),因此也為 ChatGPT 在保證準(zhǔn)確性和細(xì)節(jié)的同時(shí),提供了廣泛 的對(duì)話反饋。對(duì)話反饋是 ChatGPT 的核心功能之一,也使它成為了實(shí)現(xiàn)聊天機(jī)器人或 其他對(duì)話型 AI 的理想技術(shù)。
除對(duì)話功能外,ChatGPT 也具有實(shí)現(xiàn)各類語言相關(guān)任務(wù)的能力,包括文章精煉、翻譯以及情緒分析等。以上各類語言能力在大規(guī)模的訓(xùn)練數(shù)據(jù)和升讀學(xué)習(xí)架構(gòu)下,使 ChatGPT 成為目前應(yīng)用最為先進(jìn)的語言模型之一??傮w上,ChatGPT 標(biāo)志著自然語言處理(NLP)和對(duì)話 AI 領(lǐng)域的一大步,其高質(zhì)量文字產(chǎn)出能力在商業(yè)、研究和開發(fā)活動(dòng)中提高用戶體驗(yàn)的方向上非常有應(yīng)用價(jià)值的。
不過很多人忽略了一個(gè)問題,就是類似的大語言模型(LLM)在運(yùn)行過程中,同時(shí)也在不斷的生成各種垃圾數(shù)據(jù),大語言模型(LLM)只是把符合輸入端的數(shù)據(jù)給呈現(xiàn)出來了,但運(yùn)行過程中產(chǎn)生的各種數(shù)據(jù)片斷,和一些并不怎么“正確”的數(shù)據(jù),甚至完全是大語言模型(LLM)自己生產(chǎn)出來的無效垃圾數(shù)據(jù)等數(shù)據(jù)量,也將在網(wǎng)絡(luò)上大量生成,并塞爆各種服務(wù)器的存儲(chǔ)器和用戶端存儲(chǔ)器。
另外,每一個(gè)大語言模型(LLM)的計(jì)算機(jī),都會(huì)因?yàn)榇罅繉?duì)抗訓(xùn)練和獎(jiǎng)勵(lì)訓(xùn)練生產(chǎn)出很多“數(shù)字籬笆”,各個(gè)“數(shù)字籬笆”為了提高自己的效率,也會(huì)生成很多有自己“審查監(jiān)管標(biāo)識(shí)”影子數(shù)據(jù),很有可能造成整個(gè)網(wǎng)絡(luò)的數(shù)據(jù)不停在的每一個(gè)超級(jí)計(jì)算機(jī)的服務(wù)器里重復(fù)備份。而大語言模型(LLM)的這個(gè)特性,在網(wǎng)絡(luò)資源消耗上,要比空氣幣惡劣得多。
因此,未來誰來審核大語言模型(LLM)結(jié)果與現(xiàn)實(shí)之間的相容性,形成大語言模型(LLM)生產(chǎn)的有毒數(shù)據(jù)進(jìn)行篩查,并形成網(wǎng)絡(luò)免疫機(jī)制,同時(shí)控制大語言模型(LLM)的數(shù)據(jù)復(fù)制權(quán)限與數(shù)據(jù)生產(chǎn)權(quán)限,避免大語言模型(LLM)在網(wǎng)絡(luò)上自動(dòng)生產(chǎn)海量的數(shù)據(jù)導(dǎo)致網(wǎng)絡(luò)資源耗盡,將會(huì)是一個(gè)很大的課題。
目前一個(gè)類似ChatGPT的模型運(yùn)行軟件包只有25G左右,大部分智能終端都可以安裝運(yùn)行,并不一定需要高大上的數(shù)據(jù)中心或服務(wù)器才可以安裝ChatGPT之類運(yùn)行軟件,因此大語言模型(LLM)的網(wǎng)絡(luò)生存條件其實(shí)十分低。
雖然在普能智能終端上運(yùn)行大語言模型(LLM)速度會(huì)大受影響,但最大的好處是不用因?yàn)椤氨O(jiān)管”只能生成“缺陷數(shù)據(jù)模型”,對(duì)于有大語言模型(LLM)輔助需求的個(gè)人或企業(yè)來講,裝載一個(gè)自己私有的大語言模型(LLM),并從網(wǎng)上“慢慢”搜索并生成對(duì)自己真正有用的“結(jié)果畫像”,將是一個(gè)很難阻擋的趁勢(shì)。
那么,最后又只能回到之前的情況,只有大力整頓各個(gè)服務(wù)器的內(nèi)容端,并且不斷的加強(qiáng)“網(wǎng)警”巡查,甚至像現(xiàn)在歐盟提出的一樣收“數(shù)字稅”,誰要使用網(wǎng)絡(luò)上的數(shù)據(jù),或上傳數(shù)據(jù)到網(wǎng)上,不但要先申請(qǐng)審查,而且還要為流量交稅才可以獲得大語言模型(LLM)在網(wǎng)絡(luò)上的運(yùn)行權(quán)。
因此大語言模型(LLM)最終還是會(huì)推動(dòng)整個(gè)網(wǎng)絡(luò)透明化,所有在線終端的數(shù)據(jù)都是公開免費(fèi),這樣才能去掉大語言模型(LLM)的復(fù)制功能,只有瀏覽提取分析的功能,并且還不能把數(shù)據(jù)隨便上傳到網(wǎng)絡(luò),各個(gè)終端自己負(fù)責(zé)自己內(nèi)容與現(xiàn)實(shí)生活的相容性審查,重回開放自由精神的原始網(wǎng)絡(luò)數(shù)據(jù)世界。
而這個(gè)原始網(wǎng)絡(luò)數(shù)據(jù)世界,最終就進(jìn)化成了人類現(xiàn)實(shí)世界的“數(shù)字孿生虛擬世界”,這個(gè)虛擬世界生成后,里面的虛擬數(shù)字警察才有機(jī)會(huì)管理各自自己的虛擬區(qū)域,而且能管理到的,也是整個(gè)世界極少的一部分。
形象點(diǎn)說,每個(gè)人在“數(shù)字孿生虛擬世界”的對(duì)應(yīng)身份,都是一個(gè)類似大語言模型(LLM)程序,而整個(gè)“數(shù)字孿生虛擬世界”相當(dāng)于一個(gè)“數(shù)字詞?!惫ぞ?,而且是一個(gè)公共工具,每個(gè)大語言模型(LLM)程序要使用這個(gè)工具時(shí)就去“借閱”,然后生產(chǎn)自己需要的“私有數(shù)據(jù)”,并且不能把這個(gè)“私有數(shù)據(jù)”留在“數(shù)字孿生虛擬世界”里對(duì)“數(shù)字孿生虛擬世界”進(jìn)行污染,只有通過一定審核的“私有數(shù)據(jù)”才能存在于“數(shù)字孿生虛擬世界”里。
而要走到那一步,目前看起來,并不太容易。
審核編輯 :李倩
-
AI
+關(guān)注
關(guān)注
87文章
29824瀏覽量
268112 -
聊天機(jī)器人
+關(guān)注
關(guān)注
0文章
331瀏覽量
12282 -
ChatGPT
+關(guān)注
關(guān)注
29文章
1547瀏覽量
7364
原文標(biāo)題:ChatGPT和OPEN AI的現(xiàn)有困局和可預(yù)見的未來
文章出處:【微信號(hào):AIOT大數(shù)據(jù),微信公眾號(hào):AIOT大數(shù)據(jù)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論