ChatGPT大型語(yǔ)言模型在信息提取方面的能力

摘要

本文主要評(píng)估了ChatGPT這種大型語(yǔ)言模型在信息提取方面的能力，作者使用了7個(gè)細(xì)粒度的信息提取任務(wù)來(lái)評(píng)估ChatGPT的性能、可解釋性、校準(zhǔn)度和可信度。

作者發(fā)現(xiàn)，在標(biāo)準(zhǔn)信息提取設(shè)置下，ChatGPT的性能較差，但在開放式信息提取設(shè)置下表現(xiàn)出色，且其決策的解釋具有高質(zhì)量和可信度。

不過(guò)，ChatGPT存在過(guò)度自信的問(wèn)題，導(dǎo)致其校準(zhǔn)度較低。此外，ChatGPT在大多數(shù)情況下對(duì)原始文本的忠實(shí)度很高。

最后，作者手動(dòng)注釋并發(fā)布了7個(gè)細(xì)粒度信息提取任務(wù)的測(cè)試集，包含14個(gè)數(shù)據(jù)集，以進(jìn)一步促進(jìn)研究。

主要思路

ChatGPT是最近非常流行的對(duì)話大模型，可以與用戶進(jìn)行流暢和高效的交流。但是由于ChatGPT的訓(xùn)練細(xì)節(jié)和數(shù)據(jù)沒(méi)有完全公開，并且ChatGPT的輸出會(huì)帶有一些觀點(diǎn)和偏向，這些觀點(diǎn)都可能會(huì)影響用戶對(duì)事物的判斷和決策，甚至對(duì)用戶造成負(fù)面作用[1-4]。

因此，對(duì)于ChatGPT的評(píng)測(cè)方面，不止需要關(guān)注給定下游任務(wù)的性能評(píng)測(cè)，同時(shí)還需要考慮到使用大模型過(guò)程中用戶可能需要的一些方面，如ChatGPT對(duì)決策判斷的可解釋、預(yù)測(cè)自信程度和對(duì)于輸入原文的忠實(shí)程度等。

基于以上分析，本文希望在ChatGPT性能的基礎(chǔ)上，通過(guò)更多的維度對(duì)ChatGPT模型的能力進(jìn)行全方位的評(píng)估。

具體來(lái)說(shuō)，我們希望通過(guò)以下4個(gè)方面來(lái)評(píng)估ChatGPT的綜合性能：

1）性能（Performance）。我們研究的一個(gè)重要方面是全面評(píng)估ChatGPT在各種任務(wù)上的整體性能，如準(zhǔn)確率和F1值等。并將其與其他熱門模型進(jìn)行比較。通過(guò)從不同角度考察其性能，我們旨在提供對(duì)ChatGPT在下游信息提取任務(wù)方面能力的詳細(xì)理解。

2）可解釋性（Explainability）。ChatGPT的可解釋性對(duì)于其在現(xiàn)實(shí)場(chǎng)景中應(yīng)用是至關(guān)重要的[5-7]，因?yàn)橛脩粝Ｍ讷@取模型輸出的同時(shí)，讓模型給出合理的預(yù)測(cè)理由和判斷依據(jù)。在我們的研究中，我們將同時(shí)衡量ChatGPT的自我檢查和人工檢查的可解釋性，重點(diǎn)關(guān)注其為人類提供有用和準(zhǔn)確的推理過(guò)程解釋的能力。

3）校準(zhǔn)性（Calibration）。測(cè)量“calibration”有助于評(píng)估模型的預(yù)測(cè)不確定性[8,9]。校準(zhǔn)度高的分類器應(yīng)該具有準(zhǔn)確反映正確性概率的預(yù)測(cè)分?jǐn)?shù)[10,11]。鑒于深度神經(jīng)網(wǎng)絡(luò)在其預(yù)測(cè)中表現(xiàn)出過(guò)度自信的傾向，我們期望識(shí)別ChatGPT的潛在不確定性或過(guò)度自信現(xiàn)象。

4）忠誠(chéng)度（Faithfulness）。模型對(duì)預(yù)測(cè)解釋的忠誠(chéng)度對(duì)于用戶而言非常重要[12,13]。我們嘗試評(píng)估ChatGPT提供的解釋是否與輸入內(nèi)容一致。

基于以上四個(gè)方面，我們?cè)O(shè)計(jì)了15個(gè)不同的評(píng)測(cè)指標(biāo)，其中10個(gè)為ChatGPT自動(dòng)輸出的指標(biāo)，5個(gè)為多位領(lǐng)域?qū)＜胰斯?biāo)注的指標(biāo)。具體指標(biāo)如下：

任務(wù)數(shù)據(jù)集及實(shí)驗(yàn)設(shè)置

我們選擇了自然語(yǔ)言處理中十分重要的研究任務(wù)——信息抽取，作為任務(wù)載體，對(duì)ChatGPT的以上度量指標(biāo)進(jìn)行全方位的評(píng)估。信息抽?。╥nformation extraction, IE）涉及異構(gòu)結(jié)構(gòu)提取、事實(shí)知識(shí)使用和多樣化的目標(biāo)，因此此類任務(wù)是評(píng)估ChatGPT能力的理想場(chǎng)景。本文中，我們選擇了7個(gè)信息抽取任務(wù)共14個(gè)數(shù)據(jù)集進(jìn)行測(cè)試，包括是實(shí)體識(shí)別，關(guān)系抽取和事件抽取等。

在實(shí)驗(yàn)過(guò)程中，我們采用了2種設(shè)置，即標(biāo)準(zhǔn)信息抽?。⊿tandard-IE）和開放式信息抽?。∣penIE）。Standard-IE設(shè)置通常用于以前的工作中，它使用特定于任務(wù)的數(shù)據(jù)集與監(jiān)督式學(xué)習(xí)范式對(duì)模型進(jìn)行微調(diào)。對(duì)于ChatGPT，由于我們無(wú)法直接微調(diào)參數(shù)，因此我們?cè)u(píng)估ChatGPT從一組候選標(biāo)簽中選擇最合適答案的能力。具體而言，這種設(shè)置基于包括任務(wù)描述、輸入文本、提示和標(biāo)簽集的指示。任務(wù)描述描述了具體的IE任務(wù)，提示包括引導(dǎo)ChatGPT輸出所需特征（即上述15個(gè)特征中的一個(gè)或多個(gè)），而標(biāo)簽集基于每個(gè)數(shù)據(jù)集包含所有候選標(biāo)簽。OpenIE設(shè)置是比Standard-IE設(shè)置更高級(jí)和具有挑戰(zhàn)性的情境。在此設(shè)置中，我們不會(huì)向ChatGPT提供任何候選標(biāo)簽，僅依賴其理解任務(wù)描述、提示和輸入文本的能力來(lái)生成預(yù)測(cè)。我們的目標(biāo)是評(píng)估ChatGPT生成合理事實(shí)知識(shí)的能力。實(shí)驗(yàn)結(jié)果對(duì)比的模型包括BERT、RoBERTa和每個(gè)任務(wù)的SOTA模型。

實(shí)驗(yàn)結(jié)果及結(jié)論

1）Standard-IE設(shè)置

主要結(jié)論：
1）在大部分情況下，ChatGPT的性能與BERT類模型和SOTA模型的性能差距較大；
2）在簡(jiǎn)單任務(wù)，如entity typing和relation classification問(wèn)題下，ChatGPT的性能較好。

2）Open-IE設(shè)置

主要結(jié)論：
ChatGPT在開放式信息抽取設(shè)置下，輸出的結(jié)果較為令人滿意，在很多任務(wù)上能夠在大多數(shù)情況下輸出人類認(rèn)可的結(jié)果。這說(shuō)明ChatGPT已經(jīng)學(xué)習(xí)了很多正確且可以合理輸出的常識(shí)知識(shí)。

3）可解釋性

主要結(jié)論：
通過(guò)ChatGPT和人工對(duì)給出的判斷理由進(jìn)行標(biāo)注，我們發(fā)現(xiàn)ChatGPT輸出的解釋非?？煽?，絕大多數(shù)情況下，人類與ChatGPT都認(rèn)為給出的理由是合理的。以上數(shù)據(jù)表明，ChatGPT對(duì)于自己預(yù)測(cè)的解釋可信度較高。

4）校準(zhǔn)度

主要結(jié)論：
1）表6展示的是各個(gè)模型預(yù)測(cè)的置信度，可以看出，BERT類模型和ChatGPT對(duì)于自己的預(yù)測(cè)都十分自信，均給出了很高的置信度。相比而言，因?yàn)镃hatGPT在Standard-IE中其性能不佳，所以給出這么高的置信度表明模型有很嚴(yán)重的過(guò)度自信傾向。同時(shí)，模型對(duì)于預(yù)測(cè)錯(cuò)誤的樣本，置信度明顯較低。也就是說(shuō)，當(dāng)模型給出的預(yù)測(cè)置信度較低時(shí)，應(yīng)該對(duì)預(yù)測(cè)結(jié)果進(jìn)行校驗(yàn)。
2）表7通過(guò)評(píng)估校準(zhǔn)度的指標(biāo)ECE，我們可以明顯看出ChatGPT有最低的校準(zhǔn)度，即預(yù)測(cè)置信度偏高，過(guò)度自信問(wèn)題嚴(yán)重。

5）忠實(shí)度

主要結(jié)論：
通過(guò)領(lǐng)域?qū)＜覍?duì)模型輸出解釋和輸入原文的對(duì)比，進(jìn)行了人工的忠實(shí)度度量。我們發(fā)現(xiàn)，ChatGPT的解釋是非常忠實(shí)于原文的，基本沒(méi)有在給定上下文的情況下，通過(guò)編造理由進(jìn)行預(yù)測(cè)的行為。

總結(jié)

本文聚焦于ChatGPT在各種信息抽取任務(wù)上的系統(tǒng)性評(píng)測(cè)。針對(duì)于7個(gè)細(xì)粒度信息抽取任務(wù)和14個(gè)數(shù)據(jù)集，從模型性能、可解釋性、校準(zhǔn)度和忠實(shí)度這四個(gè)角度，設(shè)計(jì)了15個(gè)指標(biāo)（10個(gè)從ChatGPT自動(dòng)獲取的指標(biāo)，5個(gè)領(lǐng)域?qū)＜覙?biāo)注的指標(biāo)），對(duì)ChatGPT進(jìn)行了全面評(píng)估。實(shí)驗(yàn)結(jié)果表明，ChatGPT在標(biāo)準(zhǔn)IE設(shè)置下，性能與有監(jiān)督模型有很大差距。

但是，ChatGPT在OpenIE的場(chǎng)景下輸出非常符合人類預(yù)期。同時(shí)，通過(guò)領(lǐng)域?qū)＜覙?biāo)注表明，ChatGPT可以對(duì)自己的預(yù)測(cè)結(jié)果給出可靠的解釋，這表明ChatGPT有極強(qiáng)的解釋能力。但是ChatGPT會(huì)對(duì)自己的預(yù)測(cè)過(guò)度自信，給出非常高的預(yù)測(cè)置信度，從而導(dǎo)致較低的校準(zhǔn)度。

最后，本文還驗(yàn)證了ChatGPT的決策非常忠實(shí)于原文，即不會(huì)通過(guò)虛構(gòu)來(lái)解決或者解釋問(wèn)題。本文說(shuō)明，ChatGPT在信息抽取領(lǐng)域仍然有很多的改進(jìn)角度和提升空間。

審核編輯 ：李倩