近期,谷歌公布新版ASPIRE訓(xùn)練架構(gòu),該架構(gòu)主要用于改進(jìn)大型語(yǔ)言模型的選擇性預(yù)測(cè)情況。谷歌表示,盡管大語(yǔ)言模型在自然語(yǔ)言理解與生成領(lǐng)域發(fā)展迅速,應(yīng)用廣泛,然而在涉及到高風(fēng)險(xiǎn)決策時(shí),其預(yù)測(cè)能力仍待加強(qiáng)。為此,谷歌推出ASPIRE訓(xùn)練框架,通過(guò)向模型引入“可信度”機(jī)制,提升預(yù)測(cè)準(zhǔn)確率。
該框架分為三步驟:“特定任務(wù)調(diào)整”、“答案采樣”以及“自我評(píng)估學(xué)習(xí)”。首先,“特定任務(wù)調(diào)整”階段針對(duì)基本訓(xùn)練的大型語(yǔ)言模型進(jìn)一步深化訓(xùn)練,重點(diǎn)提高預(yù)測(cè)能力。其次,“答案采樣”階段模型會(huì)根據(jù)調(diào)整的參數(shù),生成多個(gè)答案,同時(shí)建立自我評(píng)估學(xué)習(xí)數(shù)據(jù)集,產(chǎn)生較高信度的選項(xiàng)。最后,“自我評(píng)估學(xué)習(xí)”階段則設(shè)定參數(shù)以提升機(jī)模自我評(píng)估能力,使之能檢測(cè)答案準(zhǔn)確性,以便在回答問(wèn)題時(shí)附加可信度評(píng)分。
據(jù)悉該架構(gòu)取得顯著成效。在CoQA、TriviaQA和SQuAD三個(gè)問(wèn)答數(shù)據(jù)集測(cè)試中,經(jīng)由ASPIRE調(diào)整的OPT-2.7B小模型表現(xiàn)全面優(yōu)于更大規(guī)模的OPT-30B模型。此成果證實(shí),經(jīng)適配調(diào)整,小型語(yǔ)言模型亦有潛力超越大型語(yǔ)言模型。
研究人員總結(jié)指出,ASPIRE訓(xùn)練框架有效改善了大型語(yǔ)言模型的輸出精度,使小型模型經(jīng)微調(diào)后可以實(shí)現(xiàn)“恰當(dāng)且自信”的預(yù)測(cè)。
聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
相關(guān)推薦
電子發(fā)燒友網(wǎng)站提供《選擇性喚醒如何實(shí)現(xiàn)局部聯(lián)網(wǎng).pdf》資料免費(fèi)下載
發(fā)表于 09-12 10:29
?0次下載
谷歌近期震撼推出全球首款完全由人工智能驅(qū)動(dòng)的游戲引擎——GameNGen,這一創(chuàng)新技術(shù)標(biāo)志著游戲開(kāi)發(fā)領(lǐng)域的新紀(jì)元。GameNGen憑借其強(qiáng)大的計(jì)算能力,能夠在單個(gè)TPU上實(shí)現(xiàn)每秒20幀的實(shí)時(shí)游戲生成,每一幀畫(huà)面均源自精密的擴(kuò)散模型預(yù)測(cè)
發(fā)表于 08-29 18:07
?728次閱讀
近日,蘋(píng)果公司發(fā)布的最新研究報(bào)告揭示了其在人工智能領(lǐng)域的又一重要戰(zhàn)略選擇——采用谷歌設(shè)計(jì)的芯片來(lái)訓(xùn)練其AI模型,而非行業(yè)巨頭英偉達(dá)的產(chǎn)品。這
發(fā)表于 08-01 18:11
?821次閱讀
蘋(píng)果公司最近在一篇技術(shù)論文中披露,其先進(jìn)的人工智能系統(tǒng)Apple Intelligence背后的兩個(gè)關(guān)鍵AI模型,是在谷歌設(shè)計(jì)的云端芯片上完成預(yù)訓(xùn)練的。這一消息標(biāo)志著在尖端AI
發(fā)表于 07-30 17:03
?597次閱讀
在科技與自然科學(xué)的交匯點(diǎn)上,谷歌公司于7月23日宣布了一項(xiàng)重大突破——全新的人工智能天氣預(yù)測(cè)模型NeuralGCM。這一創(chuàng)新成果不僅融合了機(jī)器學(xué)習(xí)的前沿技術(shù),還巧妙結(jié)合了傳統(tǒng)氣象學(xué)的精髓,其研究成果已在國(guó)際權(quán)威科學(xué)期刊《Nature》上
發(fā)表于 07-23 14:24
?370次閱讀
利用AI進(jìn)行學(xué)習(xí)是一個(gè)高效且富有創(chuàng)新性的過(guò)程。以下是一些建議,幫助你充分利用AI進(jìn)行學(xué)習(xí): 選擇適合的AI學(xué)習(xí)工具 : 深度學(xué)習(xí)
發(fā)表于 07-19 10:46
?361次閱讀
方法增加數(shù)據(jù)多樣性。 模型選擇 選擇合適的神經(jīng)網(wǎng)絡(luò)架構(gòu),如卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)等。 損失函數(shù) 選擇合適的損失函數(shù)以衡量模型
發(fā)表于 07-16 10:11
?763次閱讀
在探討AI大模型與AI框架的關(guān)系時(shí),我們首先需要明確兩者的基本概念及其在人工智能領(lǐng)域中的角色。AI大模型通常指的是具有極大規(guī)模、高度復(fù)雜性和
發(fā)表于 07-15 11:42
?624次閱讀
7月12日,國(guó)際科技界傳來(lái)新動(dòng)態(tài),谷歌正借助其先進(jìn)的Gemini AI系統(tǒng),深化對(duì)旗下機(jī)器人的訓(xùn)練,旨在顯著提升它們的導(dǎo)航能力和任務(wù)執(zhí)行
發(fā)表于 07-12 16:29
?512次閱讀
在這篇文章中,我們將詳細(xì)探討交流二元繼電器的相位選擇性和頻率選擇性。我們將從繼電器的基本原理開(kāi)始,然后探討這兩種選擇性的原理和實(shí)現(xiàn)方法。 1. 繼電器的基本原理 繼電器是一種電子開(kāi)關(guān),它可以根據(jù)輸入
發(fā)表于 06-29 09:42
?303次閱讀
谷歌模型框架通常指的是谷歌開(kāi)發(fā)的用于機(jī)器學(xué)習(xí)和人工智能的軟件框架,其中最著名的是TensorFlow。TensorFlow是一個(gè)開(kāi)源的機(jī)器學(xué)習(xí)框架
發(fā)表于 03-01 16:25
?651次閱讀
谷歌模型訓(xùn)練軟件主要是指ELECTRA,這是一種新的預(yù)訓(xùn)練方法,源自谷歌AI。ELECTRA不僅擁有BERT的優(yōu)勢(shì),而且在效率上更勝一籌。
發(fā)表于 02-29 17:37
?641次閱讀
螞蟻集團(tuán)AI創(chuàng)新研發(fā)部門NextEvo近日宣布,他們將全面開(kāi)源AI Infra技術(shù),以推動(dòng)AI研發(fā)效率的提升。該技術(shù)框架名為DLRover,
發(fā)表于 02-04 10:01
?862次閱讀
電子發(fā)燒友網(wǎng)站提供《基于PIC單片機(jī)的多選擇性漏電保護(hù).pdf》資料免費(fèi)下載
發(fā)表于 10-30 09:44
?0次下載
可通過(guò)與波峰焊的比較來(lái)了解選擇性焊接的工藝特點(diǎn)。兩者間明顯的差異在于波峰焊中PCB的下部完全浸入液態(tài)焊料中,而在選擇性焊接中,僅有部分特定區(qū)域與焊錫波接觸。由于PCB本身就是一種不良的熱傳導(dǎo)介質(zhì),因此焊接時(shí)它不會(huì)加熱熔化鄰近元器件和PCB區(qū)域的焊點(diǎn)。
發(fā)表于 10-20 15:18
?656次閱讀
評(píng)論