12月5日,微軟投資的美國 AI 實驗室 OpenAI 創(chuàng)始人兼CEO Sam Altman在社交媒體上宣布,其11月30日發(fā)布的聊天機(jī)器人模型ChatGPT,上線短短五天,用戶已經(jīng)突破了100萬。
ChatGPT的技術(shù)原理
整體技術(shù)路線上,ChatGPT在效果強(qiáng)大的GPT 3.5大規(guī)模語言模型(LLM,Large Language Model)基礎(chǔ)上,引入“人工標(biāo)注數(shù)據(jù)+強(qiáng)化學(xué)習(xí)”(RLHF,Reinforcement Learning from Human Feedback ,這里的人工反饋其實就是人工標(biāo)注數(shù)據(jù))來不斷Fine-tune預(yù)訓(xùn)練語言模型,主要目的是讓LLM模型學(xué)會理解人類的命令指令的含義(比如給我寫一段小作文生成類問題、知識回答類問題、頭腦風(fēng)暴類問題等不同類型的命令),以及讓LLM學(xué)會判斷對于給定的prompt輸入指令(用戶的問題),什么樣的答案是優(yōu)質(zhì)的(富含信息、內(nèi)容豐富、對用戶有幫助、無害、不包含歧視信息等多種標(biāo)準(zhǔn))。
ChatGPT能否取代Google、百度等傳統(tǒng)搜索引擎
針對外界認(rèn)為ChatGPT能否取代Google、百度等傳統(tǒng)搜索引擎的討論。既然看上去chatGPT幾乎無所不能地回答各種類型的prompt,那么一個很自然的問題就是:ChatGPT或者未來即將面世的GPT4,能否取代Google、百度這些傳統(tǒng)搜索引擎呢?我個人覺得目前應(yīng)該還不行,但是如果從技術(shù)角度稍微改造一下,理論上是可以取代傳統(tǒng)搜索引擎的。
ChatGPT自己卻給出了“否定”回答:ChatGPT并不是搜索引擎。它的目的不是提供信息搜索。相對于搜索引擎通過索引網(wǎng)頁并匹配搜索詞來提供信息,ChatGPT則是通過對自然語言問題的回答來幫助用戶解決問題。因此,它們之間沒有直接的競爭關(guān)系,并不能相互顛覆。
ChatGPT偏任務(wù)型的多輪對話或問答系統(tǒng),定位于“通用型 AI 技術(shù)助理”。相比蘋果Siri 和小愛同學(xué)的“訂餐、訂票、訂賓館”,ChatGPT更多執(zhí)行開放域任務(wù),即問答、閱讀理解、推理、頭腦風(fēng)暴、寫作文、改錯等,可以說是“AI 版的知乎”。
主要有三點(diǎn)原因:首先,對于不少知識類型的問題,chatGPT會給出看上去很有道理,但是事實上是錯誤答案的內(nèi)容。考慮到對于很多問題它又能回答得很好,這將會給用戶造成困擾:如果我對我提的問題確實不知道正確答案,那我是該相信ChatGPT的結(jié)果還是不該相信呢?此時你是無法作出判斷的。這個問題可能是比較要命的。
其次,ChatGPT目前這種基于GPT大模型基礎(chǔ)上進(jìn)一步增加標(biāo)注數(shù)據(jù)訓(xùn)練的模式,對于LLM模型吸納新知識是非常不友好的。
新知識總是在不斷出現(xiàn),而出現(xiàn)一些新知識就去重新預(yù)訓(xùn)練GPT模型是不現(xiàn)實的,無論是訓(xùn)練時間成本還是金錢成本,都不可接受。
其三,ChatGPT或GPT4的訓(xùn)練成本以及在線推理成本太高,導(dǎo)致如果面向真實搜索引擎的以億記的用戶請求,假設(shè)繼續(xù)采取免費(fèi)策略,OpenAI無法承受,但是如果采取收費(fèi)策略,又會極大減少用戶基數(shù),是否收費(fèi)是個兩難決策,當(dāng)然如果訓(xùn)練成本能夠大幅下降,則兩難自解。以上這三個原因,導(dǎo)致目前ChatGPT應(yīng)該還無法取代傳統(tǒng)搜索引擎。
ChatGPT的結(jié)果令人印象深刻。該模型已經(jīng)完成了各種各樣的任務(wù),包括提供代碼反饋、寫詩、用不同的音調(diào)解釋技術(shù)概念、為生成人工智能模型生成提示。
然而,該模型也容易出現(xiàn)類似大型語言模型(LLM)所犯的那種錯誤,例如引用不存在的論文和書籍,誤解直觀的物理學(xué),以及在組合性方面失敗。
基本上,OpenAI創(chuàng)造了一個強(qiáng)大的人工智能工具,但具有明顯的缺陷。它現(xiàn)在需要創(chuàng)建正確的開發(fā)工具生態(tài)系統(tǒng),以確保產(chǎn)品團(tuán)隊能夠利用ChatGPT的力量。GPT-3為許多不可預(yù)測的應(yīng)用開辟了道路,因此了解ChatGPT的庫存會很有趣。
文章綜合鈦媒體、夕小瑤的賣萌屋、51CTO
-
自然語言
+關(guān)注
關(guān)注
1文章
285瀏覽量
13320 -
OpenAI
+關(guān)注
關(guān)注
9文章
1033瀏覽量
6378 -
ChatGPT
+關(guān)注
關(guān)注
29文章
1546瀏覽量
7358
發(fā)布評論請先 登錄
相關(guān)推薦
評論