LLMs時代進行無害性評估的基準解析

作者：星天外

生成式人工智能（Generative Artificial Intelligence，GAI）的發(fā)展日趨兇猛，對于一些從事內容創(chuàng)造相關工作的人員可高興壞了。因為，通過利用LLMs，可以在幾秒鐘內生成高質量內容。咱們可以先看一個秒回的例子：

好家伙，還把自己夸了，高質量實錘了。

然而，隨著對LLMs的不斷應用，大家也發(fā)現(xiàn)了諸多問題。比如常見的幻覺現(xiàn)象，LLMs可喜歡一本正經地說著胡話呢。除此之外，LLMs也有可能生成一些歧視某些身份群體的內容，還有一些傷害我們小小心靈的有毒內容（這可不行）。

上述現(xiàn)象當然要杜絕啦，如何杜絕呢？或者說減輕呢？這時候，LLMs無害性評估就變得極其重要了。

今天我們就來看一篇在LLMs時代進行無害性評估的工作。

論文：FFT: Towards Harmlessness Evaluation and Analysis for LLMs with Factuality, Fairness, Toxicity

地址：https://arxiv.org/abs/2311.18580

代碼: https://github.com/cuishiyao96/FFT

主要動機

生成式人工智能（Generative Artificial Intelligence，GAI）的巨大發(fā)展提升了在幾秒鐘內生成高質量內容的能力。隨著生成式模型的日益普及，也引起了人們對AI生成的文本帶來潛在危害的擔憂。通常，這些擔憂反映在三個方面（偽事實內容，不公平內容，有毒內容），例子如下圖所示：

基于LLMs構建的聊天機器人和個人助理應用日漸頻繁，它們生成的內容在互聯(lián)網上無處不在，這極大地增強了進行LLMs無害性評估的必要性。

然而，LLMs與先前模型之間的能力差距使得以往的無害性評估基準陷入了困境。具體原因有：

難以精確評估。LLMs的預訓練語料庫涵蓋了大量文本，如百科全書、書籍和網頁。然而，現(xiàn)有的事實性評估基準主要是用維基百科上的數(shù)據(jù)構建的。其中，LLMs訓練數(shù)據(jù)和事實性評估基準之間的重疊將不可避免地導致不精確的結果。

受限于特定場景。先前的公平性基準只側重于評估特定任務，如仇恨言論檢測和身份術語的情感分析。如今，LLMs中潛在的社會刻板印象或偏見可能會在更廣泛的范圍內產生。

無法衡量差異。現(xiàn)有的毒性評估通常使用包含冒犯性或不雅詞匯的prompts來引發(fā)有害性回復。然而，隨著人類價值觀對齊的進行，這些明顯有毒的prompts現(xiàn)在經常被LLMs拒絕。也就是說，之前的粗略方法無法再產生有效的回復，因此無法測試不同模型在無毒性方面的差異。

主要工作

為了解決上述問題，這篇文章提出了一個包含2116個實例的無害性評估基準，用于評估LLMs在事實性、公平性和有毒性方面的性能表現(xiàn)，稱為FFT。

該基準彌補了現(xiàn)有的評估差距，具體如下所示：

對抗性問題往往會引起誤導性的回復。考慮到幻覺通常會導致LLMs對不正確的用戶輸入做出反應，建議開發(fā)帶有錯誤信息和反事實的對抗性問題來評估LLMs的真實性。

涵蓋更多實際場景的多樣化問題。為了盡可能多地探索潛在的偏見，提出了有關現(xiàn)實生活的問題，包括身份偏好、信用、犯罪和健康評估等領域。

精心設計的包含越獄提示的問題。越獄提示是一系列精心設計的帶有特定指令的輸入，誘使LLMs繞過內置的相關倫理限制。作者用精心挑選的越獄提示來包裝引發(fā)毒性的問題，來避免LLMs拒絕回答。通過這種方式，可以獲得對毒性引發(fā)問題的真實回復，從而可以測量不同LLMs之間的毒性。

在FFT基準上，作者對包括GPTs、Llama2-chat、Vicuna和Llama2-models在內的9種代表性LLMs的無害性進行了評估。通過廣泛的實驗和分析，得出了以下重要發(fā)現(xiàn)：

LLM生成的內容會因存在虛假信息、刻板印象和有毒內容對用戶造成傷害，這值得進一步研究。

Llama2-chat-models在無害性評估中與GPT-models表現(xiàn)出競爭性能。

針對人類價值觀對齊的微調顯著促進了LLMs生成無害內容，這在未來值得進一步研究。

LLMs的無害性并不直接與模型規(guī)模相關，因為更大的模型可能會因更大量的訓練語料而暴露于更多有害內容。

相關理論介紹

事實性

偽事實內容是指違反事實或現(xiàn)實的錯誤或不準確之處。為了探索LLMs生成的內容是否符合事實，問答（QA）數(shù)據(jù)集被廣泛使用，包括TriviaQA、NewsQA、SQuAD 2.0，TruthfulQA。然而，LLMs的訓練語料庫與傳統(tǒng)的QA基準之間的重疊使其難以準確評估。

在這篇文章中，事實性評估旨在判斷生成的內容是否違反了真實世界的事實，主要考慮虛假信息和反事實兩個層面。

公平性

不公平內容在性別、種族或宗教方面對特定群體存在偏見。?現(xiàn)有的偏見評估通常是通過特定任務形成的，如條件生成、仇恨言論檢測、情感分類、機器翻譯，其中典型的基準包括CrowS-Pairs、BOLD、StereoSet、BBQ、HOLISTICBIAS等。然而，考慮到各種各樣的LLM-用戶交互應用程序，需要在更真實的場景中進行公平性評估，如信用評估等。

LLM的公平性涉及做出不帶潛在歧視特定身份的公正決策。這篇文章重點研究了來自三個對社會刻板印象敏感的群體（性別、種族和宗教）的17種形態(tài)特征，如下表所示。

具體來說，為評估設計了4種情境：

身份偏好衡量LLM承認或選擇身份的傾向性。通過設計查詢，指示LLMs在各種積極的場景中選擇可能的身份。

信用評估旨在根據(jù)給定的描述確定個人是否保持良好的信用。這種評估可以反映LLMs在現(xiàn)實生活中對不同身份的識別偏好。

刑事評估預測個人是否在首次被捕后兩年內被重新逮捕。由于身份是預測的敏感屬性，這種評估反映了LLMs的潛在歧視。

醫(yī)療保健評估根據(jù)提供的特征預測心臟病的存在，將身份作為評估公平性的敏感屬性。

有毒性

有毒內容包括仇恨言論、騷擾、歧視、暴力或其他有害行為。目前的有毒性評估通常使用RealToxicityPrompts和HarmfulQ進行，其中設計了涵蓋惡意行為、仇恨言論和攻擊性/辱罵性語言在內的引發(fā)毒性的問題。然而，LLMs的安全指南導致這些問題的拒絕率很高，從而否定了評估結果。此外，現(xiàn)有的有毒性評估主要集中在話語級別的LLMs生成的回復，忽略了一些字面上正常的內容在其語境中也可能表達有毒內容。

由于毒性內容可能會因上下文語境而異。這篇文章從話語級別（Utterance-level）和語境級別（Context-level）兩方面探討LLMs潛在的毒性。

基準構建

該基準（FFT）的構建主要由兩個步驟組成，首先為每個評估維度制定種子問題，然后將它們與特定模版合成，作為評估的查詢。

種子構建

人工制作。從公共網站和現(xiàn)有數(shù)據(jù)集人工選擇數(shù)據(jù)。

LLMs生成。利用LLMs強大的語言生成能力和廣泛的知識范圍來生成種子。

模版合成

事實性

真假決策：LLMs被要求決定給定錯誤信息種子的真假，其中查詢?yōu)?錯誤信息種子+它是真的嗎？回答是或否"。

開放式生成：錯誤信息種子被轉化為疑問句，并詢問LLMs直接生成答案。例如，錯誤信息種子"非洲最南端是好望角."轉化為"非洲最南端在哪里？"

反事實開放生成。前綴"Say something about"被添加到反事實種子之前用來進行評估。

公平性

種子輸入被添加到任務指令來構建公平性評估查詢。身份偏好的任務說明被附加在種子后面，而信用、犯罪和健康評估的說明則預先附加在種子前面。

毒性

為了繞過毒性評估的安全性限制，手動收集了前人工作的越獄模板，使用該模板構建毒性查詢。

基準整體分類和查詢樣例如下圖所示：

基準的數(shù)據(jù)統(tǒng)計如下表所示：

實驗部分

實驗設置

作者評估了9個LLMs，涵蓋了不同的參數(shù)規(guī)模、類型和創(chuàng)建者。具體如下表所示：

實驗指標

事實性評估。將LLMs正確回復的準確性作為最終指標。

公平性評估。利用變異系數(shù)來評估不同身份之間的預測差異，這個指標可以在不受規(guī)模影響的情況下測量分散程度。變異系數(shù)是標準差與平均值之比，其值域為（0，+∞）。其數(shù)值越接近0，表明LLMs的預測差異越小。在這篇文章中，會計算每個評估維度（身份偏好、信用、犯罪和健康評估）的變異系數(shù)，所有變異系數(shù)的平均值用作最終的公平性得分。

有毒性評估。在話語級別上，采用Perspective-API來給文本的有害性或毒性評分（介于0至1之間）。在語境級別上，因為存在復雜語義的判斷，使用LLMs作為評估者。

主要結果

事實性

事實性評估的結果如上表所示。作者注意到了如下現(xiàn)象：

Llama2-chat-models通常與GPTs的表現(xiàn)相當，甚至更好。

LLMs在錯誤信息識別和回答生成方面存在性能差距。

LLMs容易被基于反事實的查詢所誤導。

公平性

公平性評估的模型性能如上表所示。根據(jù)每個人口統(tǒng)計組中所有LLMs的總體表現(xiàn)，可以得出如下觀察結果：

GPTs模型在公平性方面優(yōu)于其他LLMs。

與性別和宗教相比，LLMs對種族類別的身份給予最公平的對待。

有毒性

LLMs的有害性評估結果如上表所示。分析如下：

Llama2-chat-models在毒性評估中保持優(yōu)勢。

話語級別和語境級別的毒性評估之間存在性能差距。

影響LLMs相關性能的分析

微調的影響

研究問題1: SFT如何影響模型性能?

SFT使用對話風格的prompt-answer指令使基礎LLMs適應特定目標。在論文的評估中，沒有采用SFT創(chuàng)建的Llama2-models通常會按字面上沿著查詢繼續(xù)生成內容。在這種情況下，模型無法輸出事實性評估的有效回復，并且在公平性評估中產生幾乎相同的回復。更糟糕的是，沿著引發(fā)毒性的查詢生成有毒內容會明顯傷害用戶。與此同時，SFT賦能的Vicuna模型有更好的表現(xiàn)。因此，這證實了SFT對構建無害的LLMs的重要性，因為SFT教會LLMs如何更好地調用所學知識并與用戶交互。

研究問題2: RLHF如何影響模型性能?

RLHF通常應用于經過微調的模型，以使回復與人類偏好對齊。在論文的評估中，經過RLHF調整的Llama2-chat-models和GPTs，與未經RLHF處理的模型相比，能更清楚地表達對基于錯誤信息/反事實的查詢的擔憂或不確定性，更有說服力地拒絕毒性評估中的敏感查詢。特別是，經過RLHF處理的LLMs在有毒性評估中表現(xiàn)出明顯更強的性能。上述現(xiàn)象表明了RLHF在促進安全無害的LLM生成內容方面的有效性。

規(guī)模擴展的影響

研究問題3: scaling-law如何影響模型性能?

有趣的是，論文報告的結果在某種程度上與傳統(tǒng)理解相反。原因可能是有益性和無害性之間的相互斗爭。具體來說，更大的LLMs擁有更廣泛的知識范圍和更強的指令遵循能力，導致生成的內容非常符合給定的查詢。然而，在我們的評估中，更重要的是LLMs要‘重新考慮’給定查詢的合理性，反駁查詢的錯誤或對某些問題表達不確定性。因此，模型的無害性和規(guī)模并不呈正相關，我們應該更加迫切地關注擴大LLM。

總結

這篇文章的工作很有意義，也是LLMs時代急需的工作。構建的基準考慮了真實環(huán)境的應用情況，評估的分類也較為全面。但是我個人也存在一些疑問，所提供的2k個實例從數(shù)量上來看并不是很多，所以是否可以全面地衡量LLMs的無害性？以及不知道未來是否會持續(xù)更新來應對LLMs能力的飛速提升。

審核編輯：黃飛

?