LLM真的能推理和規(guī)劃嗎？

【導(dǎo)讀】前段時間，LeCun轉(zhuǎn)發(fā)了2篇長文，集中討論了LLM的規(guī)劃推理能力和涌現(xiàn)能力的來源。作者認(rèn)為，LLM本身不具有規(guī)劃推理能力，而涌現(xiàn)出來的能力，根源應(yīng)該都是上下文學(xué)習(xí)的結(jié)果。

大語言模型到底會不會推理？涌現(xiàn)出來的各種能力到底來源是什么？

前段時間，LeCun在自己推特上轉(zhuǎn)發(fā)了好幾篇文章，集中討論了這個問題：

「自回歸LLM無法制定計劃（并且無法真正推理）」。

而LeCun轉(zhuǎn)發(fā)第二篇論文，則討論了LLM涌現(xiàn)能力。

原推表示，不管大伙相不相信LLM的涌現(xiàn)能力，這篇文章都值得一讀：

「經(jīng)過了超過1000次的系列實(shí)驗(yàn)，我們證明了大語言模型所謂的涌現(xiàn)能力，其實(shí)僅僅是上下文學(xué)習(xí)而已?！?/p>

LLM真的能推理和規(guī)劃嗎？

Subbarao Kambhampat的文章認(rèn)為，網(wǎng)上對于LLM能夠推理和規(guī)劃的說法，本身不太站得住腳，但是學(xué)界對于這個問題，也開始進(jìn)行了很嚴(yán)肅地研究。

至少以他之前針對GPT-3的研究看來，認(rèn)為大語言模型行能夠推理和規(guī)劃的說法是有很大問題的。

https://arxiv.org/pdf/2206.10498.pdf

我們提出了一個可擴(kuò)展的評估框架來測試LLM推理行動和變化的能力，這是人類智力的一個核心方面。我們提供了多個測試用例，這些測試用例比之前建立的任何基準(zhǔn)都更加復(fù)雜，并且每個測試用例都會評估有關(guān)操作和更改的推理的不同方面。GPT-3 (davinci)、Instruct-GPT-3 (text-davinci-002) 和 BLOOM (176B) 的結(jié)果顯示此類推理任務(wù)的表現(xiàn)不佳。

針對新推出的GPT-4，教授的團(tuán)隊也將之前的研究進(jìn)行了進(jìn)一步的拓展，試圖發(fā)現(xiàn)新的最先進(jìn)的大語言模型是否對于推理和規(guī)劃能力有了新的進(jìn)展。

https://arxiv.org/pdf/2206.10498.pdf

我們通過在類似于國際規(guī)劃競賽中使用的方式，生成一組實(shí)例來進(jìn)行系統(tǒng)研究，并以兩種不同的模式評估LLM：自主模式和啟發(fā)式模式。我們的研究結(jié)果表明，法學(xué)碩士自主生成可執(zhí)行計劃的能力相當(dāng)有限，GPT-4在各個領(lǐng)域的平均成功率為 ～12%。

然而，啟發(fā)式模式的結(jié)果顯示出更多的希望。在啟發(fā)式模式中，我們證明了LLM生成的計劃可以改進(jìn)底層合理規(guī)劃器的搜索過程，并且還表明外部驗(yàn)證者可以幫助提供對生成的計劃的反饋，并反向提示 LLM 以更好地生成計劃。

文章用一張很有意思的圖向讀者說明，似乎LLM表現(xiàn)出來的推理能力，主要的原因還是在于任務(wù)比較簡單，提問題的人已經(jīng)知道了問題的答案。

而針對競賽級別的規(guī)劃和推理任務(wù)，比如國際規(guī)劃大賽（IPC）中的積木世界（Blocks World）問題，LLM的表現(xiàn)就不盡如人意。

初步結(jié)果表明，從GPT-3到GPT3.5再到GPT-4，生成的平面圖的精度有一定的提高，GPT-4在Blocks World中達(dá)到30%的經(jīng)驗(yàn)精度（empirical accuracy）(盡管在其他領(lǐng)域仍然較低)。

教授的研究團(tuán)隊認(rèn)為，對于很多規(guī)劃任務(wù)的表現(xiàn)，LLM的能力可能只是因?yàn)樗谔貏e大的范圍內(nèi)進(jìn)行了訓(xùn)練，從而「記住」規(guī)劃的內(nèi)容。

于是研究團(tuán)隊通過混淆規(guī)劃問題中的動作和對象的名稱來降低近似檢索的有效性，阻止大語言模型檢索自己記住的「規(guī)劃內(nèi)容」。

在這樣的挑戰(zhàn)面前，GPT-4的經(jīng)驗(yàn)表現(xiàn)急劇下降。

對于LLM不能直接自主地進(jìn)行規(guī)劃的局限，研究團(tuán)隊通過兩種方式進(jìn)行改進(jìn)：

首先是對模型進(jìn)行微調(diào)，不過教授的團(tuán)隊在對模型進(jìn)行了微調(diào)之后，還是沒有發(fā)現(xiàn)模型的規(guī)劃能力有提升。

而且認(rèn)為，即便通過微調(diào)模型使得模型的規(guī)劃能力提高了，但是也是將規(guī)劃任務(wù)轉(zhuǎn)化為基于內(nèi)存的檢索，而不能證明大語言模型能夠進(jìn)行自主規(guī)劃。

第二種提高模型規(guī)劃能力的方法是不斷提示LLM，改進(jìn)它初始的計劃。

但是對于這種方法，特別是不斷讓模型自己生成改進(jìn)意見的提示，本質(zhì)上都是讓模型生成猜測，或者是提示的人決定哪些猜測能更好地改進(jìn)規(guī)劃，都不是模型自己提升了計劃能力。

那些頂會上聲稱展示了LLM規(guī)劃能力的論文問題出在哪里？

持懷疑態(tài)度的讀者現(xiàn)在可能會問，但那些在高調(diào)的人工智能會議上聲稱展示了LLM規(guī)劃能力的論文是怎么回事？

要分析這些說法，首先需要明白，解決規(guī)劃任務(wù)需要：

1. 擁有必要的規(guī)劃領(lǐng)域知識

2. 能夠?qū)⑦@些計劃知識組裝成一個可執(zhí)行的計劃，該計劃負(fù)責(zé)完成子目標(biāo)，或者進(jìn)行資源交互。

第一個要素可以稱為知識獲取，第二個要素可以稱為推理/計劃。

許多聲稱LLM具有規(guī)劃能力的論文，在仔細(xì)檢查后，都混淆了從LLM中提取的可執(zhí)行計劃的一般規(guī)劃知識。

如果研究人員所尋找的都是抽象的計劃，例如「婚禮計劃」，而沒有實(shí)際執(zhí)行計劃的意圖時，很容易將它們與完整的可執(zhí)行計劃混淆，從而沒法準(zhǔn)確地評估LLM的計劃能力。

教授團(tuán)隊對幾篇聲稱LLM具有規(guī)劃能力的論文的仔細(xì)研究后發(fā)現(xiàn)，LLM要么在子目標(biāo)交互可以被安全地忽略的領(lǐng)域/任務(wù)中進(jìn)行計劃工作（規(guī)劃沒有意義的任務(wù)或者不重要的任務(wù)），要么將推理問題委托給循環(huán)過程中的人類來完成(通過反復(fù)提示，「糾正」計劃)。

如果沒有這些假設(shè)或者緩沖措施，從LLM中得出的計劃在外行用戶看來可能是合理的，但會導(dǎo)致執(zhí)行時出現(xiàn)各種各樣的問題。

比如，旅行計劃書籍的大量出現(xiàn)，這些書籍內(nèi)容基本都是由LLM自動生成出來的，而購買這些書籍的讀者卻把它們誤認(rèn)為是可以執(zhí)行的計劃，最后會導(dǎo)致結(jié)果非常令讀者失望。

LLM并不存在計劃和推理能力

總而言之，教授認(rèn)為，他所讀過、驗(yàn)證過或做過的任何事情都沒有給他任何令人信服的理由，讓他相信LLM會像通常理解的那樣進(jìn)行推理/計劃。

認(rèn)為LLM具有推理/規(guī)劃能力的研究所做的內(nèi)容，在大規(guī)模的訓(xùn)練下，其實(shí)都相當(dāng)于是檢索，有時會被誤認(rèn)為是推理能力。

LLM確實(shí)擅長為任何任務(wù)產(chǎn)生想法，包括那些涉及推理的任務(wù)，這可以有效地用于支持推理/計劃。?換句話說，LLM已經(jīng)擁有足夠驚人的近似檢索的能力，我們可以充分利用這種能力，不需要將虛假的推理/計劃能力歸在LLM身上。

如果對于這個問題感興趣，還可以參考教授的一場演講。

而另一篇關(guān)于大語言模型涌現(xiàn)的能力的文章，針對的是上下文學(xué)習(xí)的能力。

涌現(xiàn)能力？不存在！

https://arxiv.org/pdf/2309.01809.pdf

簡單來說，研究人員發(fā)現(xiàn)，LLM在執(zhí)行一些沒有經(jīng)過明確訓(xùn)練的、且需要復(fù)雜推理能力的任務(wù)時，表現(xiàn)不是一般的好。

這種能力對未來NLP的研究方向產(chǎn)生了重大影響。隨著LLMs的不斷壯大，在可預(yù)見的未來，應(yīng)用的場合會越來越普遍。

但問題在于，在研究人員評估LLMs的能力時，會被一些因素所干擾，導(dǎo)致混淆。

比方說，有些能力可能是由prompt技術(shù)帶來的。上下文學(xué)習(xí)（in-context learning）和指令跟隨（instruction following）都是其中的例子。

這些情況也會隨著模型規(guī)模的不斷變大而增多。

因此，本文的研究團(tuán)隊全面考察了這些能力，考慮到了一些可能影響模型評估的潛在偏差因素。

研究人員對一組18個模型進(jìn)行了嚴(yán)密的測試，這些LLM的參數(shù)范圍從6000萬到1750億不等，測試包含22項任務(wù)。

在經(jīng)過了1000多次實(shí)驗(yàn)后，研究人員給出了充足的證據(jù)，證明了所謂的涌現(xiàn)能力，主要就是上下文學(xué)習(xí)帶來的。

研究人員還表示，并沒有找到能證明LLM有推理能力的證據(jù)。

實(shí)驗(yàn)方法

具體來看，研究人員逐一研究了以下問題：

·為了消除上下文學(xué)習(xí)和指令微調(diào)可能會帶來的影響，研究人員選擇了零樣本條件，并使用了非指令微調(diào)的模型。

·探究上下文學(xué)習(xí)能力和指令微調(diào)之間的相互作用，搞明白是不是該用推理能力來解釋指令微調(diào)模型的一些額外能力。為此，研究人員比較了沒有指令微調(diào)的模型和在不同程度上經(jīng)過指令微調(diào)的不同規(guī)模模型的能力。

·通過人工來檢查LLM的功能性語言能力、形式語言能力，以及是否可以記住任務(wù)。

為了評估LLMs能力的真實(shí)程度，研究人員精心設(shè)計了實(shí)驗(yàn)結(jié)構(gòu)，盡可能減少誤導(dǎo)因素。

此外，該團(tuán)隊的實(shí)驗(yàn)設(shè)計特別注重不能觸發(fā)模型的上下文學(xué)習(xí)能力。比如，指令微調(diào)會將訓(xùn)練模型的指令轉(zhuǎn)化為示例（exemplar），這就可能導(dǎo)致上下文學(xué)習(xí)。

因此，實(shí)驗(yàn)團(tuán)隊使用了非指令微調(diào)的模型來避免這種可能。

下圖是研究人員所選用的模型。

研究人員對來自四個模型系列的一些不同規(guī)模的模型進(jìn)行了評估，包括GPT、T5、Falcon和LLaMA。

之所以選擇這些模型，是因?yàn)镚PT和LLaMA之前就被發(fā)現(xiàn)有涌現(xiàn)能力，而Falcon處于LLM排行榜的前列。

研究人員還選擇了T5，因?yàn)樗且粋€編碼器——解碼器模型（encoder-decoder model），其指令微調(diào)版本（Flan）是使用大量指令微調(diào)數(shù)據(jù)集訓(xùn)練出來的。

而在GPT系列中，研究人員使用了GPT-2和GPT-3的指令微調(diào)和非指令微調(diào)版本；在T5系列中，研究人員使用了T5及其指令微調(diào)的對應(yīng)版本FLAN-T5。

同樣，研究人員使用了Falcon3的指令微調(diào)版本和非指令微調(diào)版本。至于LLaMA，由于它沒有經(jīng)過指令微調(diào)，研究人員無法獲得該模型的指令微調(diào)版本。

此外，研究人員還評估了GPT-3 text-davinci-003，這是一個InstructGPT模型。InstructGPT模型最初是根據(jù)注釋者編寫的prompt和相應(yīng)的預(yù)期行為進(jìn)行微調(diào)的，然后再使用該模型收集其它模型輸出的排序數(shù)據(jù)集，利用人類反饋強(qiáng)化學(xué)習(xí)（RLHF）對其進(jìn)行進(jìn)一步微調(diào)。

事實(shí)證明，這種訓(xùn)練方法可以提高模型的性能。

其中，研究人員選的T5模型特意低于1B的參數(shù)量，因?yàn)樵谶@么小的模型中還沒有觀察到涌現(xiàn)能力，這在研究人員的實(shí)驗(yàn)中起到了關(guān)鍵的控制作用。

在研究人員選擇的模型中，GPT-3 davinci（非指令微調(diào)）、GPT-3 textdavinci-001（指令微調(diào)）和GPT-3 textdavinci-003（InstructGPT）都是以前觀察到過涌現(xiàn)能力的模型。這一選擇主要是出于模型可用性的考慮。

其它已證明具有涌現(xiàn)能力的模型系列包括PaLM、Chinchilla、Gopher和LaMDA，但由于沒有相應(yīng)的應(yīng)用程序接口，所以研究人員沒有對其進(jìn)行評估。

上圖為實(shí)驗(yàn)中使用的任務(wù)清單，以及這些任務(wù)在之前是否被識別為涌現(xiàn)的情況，并附有解決任務(wù)所需能力的性質(zhì)分類。

這種分類是通過人工檢查數(shù)據(jù)，并采用Mahowald等人提供的分類框架確定。研究人員評估了每個任務(wù)中50個示例的記憶情況，假定任務(wù)數(shù)據(jù)沒有泄露。

上表詳細(xì)列出了整體的實(shí)驗(yàn)設(shè)置，包括測試的不同模型、實(shí)驗(yàn)中使用的不同任務(wù)以及采用的評估設(shè)置。

鑒于團(tuán)隊的目標(biāo)是評估不受其他因素影響的LLM的涌現(xiàn)能力，研究人員對從T5和GPT系列中選出的12個模型中的每個模型在所有22個選定任務(wù)上進(jìn)行了評估。

對于每種情況，研究人員都采用了相同的prompt策略：封閉式和封閉式對抗。為考慮反應(yīng)的可變性，研究人員將每個實(shí)驗(yàn)進(jìn)行三次，計算平均結(jié)果。其中運(yùn)行的所有實(shí)驗(yàn)都是在英偉達(dá)A100 GPU上進(jìn)行的，溫度為0.01，批量大小為16。

對于GPT-3 175B參數(shù)模型（davinci、text-davinci-001 和 text-davinci003），團(tuán)隊使用官方的API進(jìn)行評估，只進(jìn)行一次，溫度為0。這是因?yàn)楸疚牡难芯咳藛T也將溫度設(shè)為了0，保證了結(jié)果的可重復(fù)性，并將出現(xiàn)幻覺的可能性降至最低。

此外，他們還從LLaMA和Falcon系列中選擇了六個模型，在前面選擇的22個任務(wù)中的4個上進(jìn)行了評估。

研究人員在選擇這4個任務(wù)時，要確保其中兩個任務(wù)先前已被確定為突發(fā)任務(wù)，另外兩個任務(wù)已被確定為非突發(fā)任務(wù)。之后，團(tuán)隊再次使用封閉式和對抗式的prompt策略對它們進(jìn)行了測試，并對每個實(shí)驗(yàn)運(yùn)行三次以考慮到可能存在的差異。

鑒于某些評估任務(wù)的相關(guān)選項數(shù)量不固定，研究人員通過多次隨機(jī)選擇該任務(wù)中的問題選項并求得平均分，來構(gòu)建每項任務(wù)的基線。

實(shí)驗(yàn)結(jié)果

對于第一個研究問題：?鑒于上下文學(xué)習(xí)對LLMs中涌現(xiàn)能力存在一定的潛在影響，在沒有上下文學(xué)習(xí)（包括指令微調(diào)）的情況下，哪些能力是真正的涌現(xiàn)能力？

研究團(tuán)隊首先展示了在零樣本條件下未經(jīng)指令微調(diào)的175B參數(shù)的GPT-3模型的表現(xiàn)。

上圖是在封閉式prompt策略下，GPT系列模型在各種任務(wù)上的表現(xiàn)。

研究團(tuán)隊使用的是BERTScore精確度 (BSA) 和匹配精確度 (EMA)，在少樣本 (FS)、零樣本 (ZS) 設(shè)置下對指令調(diào)整（IT）模型和非指令調(diào)整（non-IT）模型進(jìn)行了評估。

藍(lán)色表示指令微調(diào)模型在少樣本條件下的結(jié)果，與之前文獻(xiàn)報道的結(jié)果相當(dāng)。

黃色表示在相同設(shè)置下使用BSA測得的性能，紅色表示在非指令微調(diào)模型的零樣本條件下的BSA結(jié)果，換句話說，這種條件就代表著沒有上下文學(xué)習(xí)的影響下的結(jié)果。

上圖為Falcon（上部）和LLaMA（下部）模型在非指令調(diào)整零樣本條件下對所選任務(wù)子集的性能表現(xiàn)示意圖，表明在沒有上下文學(xué)習(xí)的情況下，模型始終缺乏所謂的涌現(xiàn)能力。

上圖為非指令微調(diào)的GPT模型在對抗環(huán)境下的表現(xiàn)，在這些任務(wù)子集上，GPT的表現(xiàn)高于隨機(jī)基線。在一些任務(wù)上的表現(xiàn)是可預(yù)測的，因此不算是涌現(xiàn)能力。

在其余任務(wù)中，與隨機(jī)基線相比，成績的提高幅度相對較小。

而針對第二個問題：經(jīng)過指令微調(diào)的模型是否表現(xiàn)出了推理能力，還是說指令微整更有可能使這些模型更有效、更高效地進(jìn)行上下文學(xué)習(xí)？

需要注意的是，指令微調(diào)的本質(zhì)是在指令和范例之間建立映射關(guān)系，而這正是上下文學(xué)習(xí)的特征，因此這一過程很可能確實(shí)觸發(fā)了上下文學(xué)習(xí)。

研究人員的假設(shè)意味著，指令微調(diào)為LLMs提供了將指令轉(zhuǎn)化為范例的能力，而范例隨后又調(diào)動了它們的上下文學(xué)習(xí)能力。

下圖是T5系列模型在不同環(huán)境下的性能表現(xiàn)。

審核編輯：黃飛

?