NLP / LLMs中的Temperature是什么？

Temperature 在模型中的作用

Temperature 是一個超參數(shù)，可用于控制生成語言模型中生成文本的隨機(jī)性和創(chuàng)造性。它用于調(diào)整模型的softmax輸出層中預(yù)測詞的概率。溫度參數(shù)定義為在應(yīng)用 softmax 函數(shù)之前用于調(diào)整 logits 的比例因子的倒數(shù)。

當(dāng)Temperature 設(shè)置為較低的值時，預(yù)測詞的概率會變尖銳，這意味著選擇最有可能的詞的概率更高。這會產(chǎn)生更保守和可預(yù)測的文本，因為模型不太可能生成意想不到或不尋常的詞。另一方面，當(dāng)Temperature 設(shè)置為較高值時，預(yù)測詞的概率被拉平，這意味著所有詞被選擇的可能性更大。這會產(chǎn)生更有創(chuàng)意和多樣化的文本，因為模型更有可能生成不尋?；蛞庀氩坏降脑~。

溫度參數(shù)通常設(shè)置為 0.1 到 1.0 之間的值，具體取決于生成文本中所需的隨機(jī)性和創(chuàng)造性水平。溫度值為 1.0 對應(yīng)于標(biāo)準(zhǔn) softmax 函數(shù)，其中預(yù)測詞的概率未按比例縮放。

一般來說，Temperature 越低，GPT-3越有可能選擇出現(xiàn)概率較高的單詞。當(dāng)我們想要GPT-3解釋概念時，它特別有用，因為答案只有一個。如果想要產(chǎn)生想法或完成一個故事，Temperature 設(shè)置的更大會給我們帶來更多的多樣性。

比如說以下提示:

Prompt: “The quick brown fox”

Temperature = 0.1:

“The quick brown fox jumped over the lazy dog. The quick brown fox jumped over the lazy dog. The quick brown fox jumped over the lazy dog.”

Temperature = 0.5:

“The quick brown fox jumped over the lazy dog. The lazy cat was not impressed. The quick brown fox ran away.”

Temperature = 1.0:

“The quick brown fox jumped over the lazy dog. Suddenly, a flock of birds flew overhead, causing the fox to stop in its tracks. It looked up at the sky, wondering where they were going.”

可以看到，Temperature 對生成文本的質(zhì)量和創(chuàng)造性有重大影響。低值生成更可預(yù)測和重復(fù)的文本，而高值生成更多樣化和創(chuàng)造性的文本。

Temperature 的數(shù)學(xué)原理解釋

神經(jīng)網(wǎng)絡(luò)的輸出是詞匯表中每個單詞(實際上是標(biāo)記)的概率分布，告訴它這些單詞中任何一個可能跟隨輸入文本的可能性。

該概率分布由softmax函數(shù)計算:

如果將Temperature 參數(shù)(T)添加到softmax函數(shù)，則公式如下:

更深入的解釋Temperature 參數(shù)：

如果當(dāng)T趨于無窮時會發(fā)生什么。每個x_i / T都會趨于0，從而得到一個均勻分布。也就是說概率分布變得更 “平”， 這會導(dǎo)致結(jié)果更隨機(jī)。

當(dāng)T很小(比如0.1)時會發(fā)生什么。每個x_i / T之間的差異變得更加明顯(例如5比1變成50比10)，這樣概率分布變得“更尖”，也就是說結(jié)果會更確定。

總結(jié)

Temperature 參數(shù)是語言生成模型中一個重要的超參數(shù)，可用于控制生成文本的隨機(jī)性和創(chuàng)造性。通過調(diào)整該參數(shù)，可以生成更保守或更有創(chuàng)意的文本，雖然Temperature 參數(shù)是生成高質(zhì)量文本的強(qiáng)大工具，但需要注意的是，它并不能提高生成語言模型的性能。因為生成文本的質(zhì)量高度依賴于訓(xùn)練數(shù)據(jù)的質(zhì)量、模型的架構(gòu)以及其他超參數(shù)，如學(xué)習(xí)率和批處理大小。在設(shè)計和訓(xùn)練生成語言模型時，必須考慮所有這些因素。

另外就是Temperature 參數(shù)可能并不總是提高生成文本的質(zhì)量，特別是在訓(xùn)練數(shù)據(jù)有限或有噪聲的情況下。在這種情況下，其他技術(shù)，如數(shù)據(jù)增強(qiáng)、正則化或遷移學(xué)習(xí)可能更有效地提高模型的性能。

最后Temperature 可以控制語言生成模型的行為。通過適當(dāng)?shù)恼{(diào)整，可以得到我們期望的結(jié)果。比如說生成更確定的答案可以降低該值，而生成更發(fā)散和創(chuàng)造性的答案可以提高該值，所以嘗試一下不同的值，看看這些更改對不的提示有什么影響，這會幫助我們更好的獲得想要的結(jié)果。