對比解碼在LLM上的應(yīng)用

深度學習自然語言處理 原創(chuàng)

作者：wkk

為了改進LLM的推理能力，University of California聯(lián)合Meta AI實驗室提出將Contrastive Decoding應(yīng)用于多種任務(wù)的LLM方法。實驗表明，所提方法能有效改進LLM的推理能力。讓我們走進論文一探究竟吧！

對比解碼(Contrastive Decoding)

在走進論文之前首先介紹一下什么是對比解碼，其是由Li等人在2022年提出的一種文本生成方法，具有簡單、計算量小、訓練自由等特點。它通過查找到最大化強模型和弱模型之間可能性差異的字符串來生成文本，從而產(chǎn)生更多且更高質(zhì)量的文本。在對比解碼中，弱模型可以是常規(guī)的貪心解碼方法，如一些簡單的采樣方法，強模型可以是經(jīng)過訓練的大型語言模型。對比解碼可以在很多推理任務(wù)上表現(xiàn)出色，包括算術(shù)推理和多項選擇排名任務(wù)，可以提高語言模型的準確率。

本文創(chuàng)新點：探索對比解碼在LLM上的應(yīng)用。具體地，通過最大化專家模型和較弱的業(yè)余模型之間存在的可能性誤差(如下圖所示)來搜索字符串，避免了專家模型中的不良影響和貪婪解碼會出現(xiàn)的采樣誤差問題。

實驗結(jié)論：通過在多種任務(wù)上的測試，本文證明了對比解碼可以提高大型語言模型在推理和文本生成問題上的性能，這是第一種同時在推理和文本生成問題上實現(xiàn)最先進結(jié)果的生成算法。此外，還分析了對比解碼的改進原因，并探討了該方法在常識推理和事實檢索方面的適用性。

實驗

實驗設(shè)置

模型：實驗采用LLaMA家族的原始模型，其中專家模型為LLaMA-65B，業(yè)余模型為具有1.5B的LLaMA模型。此外，在消融實驗中，本文還對FLAN-T5家族的模型進行實驗分析。

解碼參數(shù)：α=0.1，為原始論文中相同的超參數(shù)：專家模型分配的最大概率的比例，任何標記都分配了較低的概率被屏蔽掉。β=0.5是對應(yīng)于業(yè)余懲罰強度的超參數(shù)。將前導 (1 + β) 系數(shù)包含在專家 logits 中，以將對比懲罰的強度與輸出 logits 的預期尺度解耦，描述了用于采樣的溫度的對比權(quán)衡之間的對比權(quán)衡。

prompt：對于生成任務(wù)使用8-shot的CoT。

數(shù)據(jù)集：聚焦代數(shù)問題的AQuA、ASDiv、GSM8K、SVAMP和MATH數(shù)據(jù)集，針對常識推理的CommonsenseQA、StrategyQA數(shù)據(jù)集以及AI2 Reasoning Challenge、BooIQ、HellaSwag、MMLU、PIQA、SIQA和WinoGrande等基準數(shù)據(jù)集。

實驗結(jié)果

在GSM8K上的實驗表明，β=0.5能獲得更好的結(jié)果同時業(yè)余模型對于性能的提升可能大于專家模型。

對比解碼往往有助于全面完成具有CoT提示的算術(shù)推理任務(wù)。其中一個例外是MATH數(shù)據(jù)集，它被證明對標準解碼和對比解碼都具有挑戰(zhàn)性。作者推測因為對比解碼放大了專家比業(yè)余模型學得更好的技能，所以它對遠遠超出專家模型的任務(wù)沒有幫助。

在CommonsenseQA和StrategyQA數(shù)據(jù)集上實驗發(fā)現(xiàn)對比解碼會損害較小模型的性能。

對比解碼的影響

本文還進行了一系列附加實驗，研究表明，對比解碼可以在大型語言模型中提高推理能力。在算術(shù)推理和多項選擇排名任務(wù)上，包括LLaMA-65B這樣的大型模型，都有普遍的改進，這表明對比解碼可以使更大的模型受益。通過分析對比解碼改進的原因。實證表明，與貪婪解碼相比，對比解碼從提示中復制的表面層次較少，錯過的推理步驟也較少。這一結(jié)果表明，對比解碼通過減少模型分布中的短、重復或其他不良模式來起作用。

結(jié)論

使用對比解碼（Contrastive Decoding）方法可以顯著提高大型語言模型在一系列推理任務(wù)中的準確性，這種方法不僅在生成文本方面表現(xiàn)優(yōu)異，還可以在推理問題方面超越當前現(xiàn)有的各種模型。同時，該方法能夠減少模型分布中的短、重復或其他不良模式，從而提高模型的推理能力。然而，該方法在常識推理任務(wù)中表現(xiàn)良莠不齊，需要進一步研究和改進?？偟膩碚f，對比解碼方法在改善語言模型的生成和推理能力上具有廣泛的應(yīng)用前景。

審核編輯：湯梓紅