WebCPM：首個聯(lián)網(wǎng)支持中文問答開源模型

2021年12月 WebGPT 的橫空出世標志了基于網(wǎng)頁搜索的問答新范式的誕生，在此之后，New Bing 首先將網(wǎng)頁搜索功能整合發(fā)布，隨后 OpenAI 也發(fā)布了支持聯(lián)網(wǎng)的插件 ChatGPT Plugins。大模型在聯(lián)網(wǎng)功能的加持下，回答問題的實時性和準確性都得到了飛躍式增強。

近期，面壁智能聯(lián)合來自清華、人大、騰訊的研究人員共同發(fā)布了中文領(lǐng)域首個基于交互式網(wǎng)頁搜索的問答開源模型框架 WebCPM，相關(guān)工作錄用于自然語言處理頂級會議 ACL 2023。

WebCPM 是面壁智能自研大模型工具學習引擎 BMTools的首個成功實踐，其特點在于其信息檢索基于交互式網(wǎng)頁搜索，能夠像人類一樣與搜索引擎交互從而收集回答問題所需要的事實性知識并生成答案。WebCPM 背后的基礎(chǔ)模型 CPM 是由面壁智能與 OpenBMB 開源社區(qū)開發(fā)的百億參數(shù)中文語言模型，占據(jù)多個中文領(lǐng)域語言模型排行榜前列。

WebCPM 論文鏈接：https://arxiv.org/abs/2305.06849

WebCPM 數(shù)據(jù)與代碼鏈接：

https://github.com/thunlp/WebCPM

WebCPM研究背景

在當今信息化時代，人們在日常生活和工作中，需要不斷地獲取各種知識和信息，而這些信息往往分散在互聯(lián)網(wǎng)上的海量數(shù)據(jù)中。如何快速、準確地獲取這些信息，并且對這些信息進行合理的整合，從而回答復雜、開放式問題，是一個極具挑戰(zhàn)性的問題。長文本開放問答（Long-form Question Answering, LFQA）模型就是為了回答這種復雜的問題而設(shè)計的。

目前的 LFQA 解決方案通常采用檢索-綜合范式，包括信息檢索和信息綜合兩個核心環(huán)節(jié)。信息檢索環(huán)節(jié)從外部知識源（如搜索引擎）中搜索多樣化的相關(guān)支持事實，信息綜合環(huán)節(jié)則將搜集到的事實整合成一個連貫的答案。

然而，傳統(tǒng)的 LFQA 范式存在一個缺陷：它通常依賴于非交互式的檢索方法，即僅使用原始問題作為查詢語句來檢索信息。相反，人類能夠通過與搜索引擎實時交互來進行網(wǎng)頁搜索而篩選高質(zhì)量信息。

對于復雜問題，人類往往將其分解成多個子問題并依次提問。通過識別和瀏覽相關(guān)信息，人類逐漸完善對原問題的理解，并不斷查詢新問題來搜索更多樣的信息。這種迭代的搜索過程有助于擴大搜索范圍，提高搜索結(jié)果質(zhì)量。總體而言，交互式網(wǎng)頁搜索不僅為我們提供了獲取多樣化信息來源的途徑，同時也反映了人類解決問題的認知過程，從而提高了可解釋性。

2021年12月 OpenAI 發(fā)布 WebGPT，這是支持 LFQA 的交互式網(wǎng)頁搜索的一項先驅(qū)性工作。作者首先構(gòu)建了一個由微軟必應搜索（Bing）支持的網(wǎng)頁搜索界面，然后招募標注員使用該界面收集信息來回答問題。之后，他們微調(diào) GPT-3 模型，讓其模仿人類的搜索行為，并將收集到的信息整理成答案。實驗結(jié)果顯示，WebGPT 在 LFQA 任務具備出色的能力，甚至超過了人類專家。而 WebGPT 也正是微軟近期推出的 New Bing 背后的新一代搜索技術(shù)。

盡管效果十分驚人，但 WebGPT 、New Bing 對學術(shù)圈和工業(yè)界來說仍然充滿神秘感。這是因為 WebGPT 的相關(guān)細節(jié)并未完全公開，其核心設(shè)計元素的工作原理也不透明。鑒于當前交互式網(wǎng)頁搜索的重要價值，我們迫切需要一個標準數(shù)據(jù)集與相關(guān)的開源模型以支持后續(xù)研究。

WebCPM搜索交互界面和數(shù)據(jù)集

▲ WebCPM搜索交互界面

為推動相關(guān)領(lǐng)域發(fā)展，這篇 ACL 論文的研究團隊首先構(gòu)建了一個開源的交互式網(wǎng)頁搜索界面，用于記錄人類為開放式問題收集相關(guān)信息時的網(wǎng)頁搜索行為。該界面底層調(diào)用必應搜索 API 支持網(wǎng)頁搜索功能，囊括 10種主流網(wǎng)頁搜索操作（如點擊頁面、返回等等）。

在這個界面中，用戶可以執(zhí)行預定義的操作來進行多輪搜索和瀏覽。在找到網(wǎng)頁上的相關(guān)信息時，他們可以將其作為支持事實記錄下來。當收集到足夠的信息后，用戶可以完成網(wǎng)頁搜索，并根據(jù)收集到的事實來回答問題。同時，界面會自動記錄用戶的網(wǎng)頁瀏覽行為，用于構(gòu)建 WebCPM 數(shù)據(jù)集。

▲ WebCPM數(shù)據(jù)集與相關(guān)問答數(shù)據(jù)集的比較

基于這個界面，作者構(gòu)建了中文領(lǐng)域首個基于交互式網(wǎng)頁搜索的 LFQA 數(shù)據(jù)集。它包含 5,500對高質(zhì)量的問題-答案對以及十萬多條真實用戶網(wǎng)頁搜索行為。與現(xiàn)有的中文問答數(shù)據(jù)集相比，WebCPM 的問題、支持事實和答案都更長，體現(xiàn)了其問題的復雜性和答案內(nèi)容的豐富性。

WebCPM模型框架

作者提出了的 WebCPM 框架包括：（1）搜索模型與（2）答案綜合模型。

▲ WebCPM模型框架

搜索模型：

該模型模仿人類網(wǎng)頁搜索行為、與搜索引擎交互并進行信息檢索。作者將網(wǎng)頁搜索任務劃分為 3 個子任務：搜索行為預測（action prediction）、查詢語句生成（search query generation）和支持事實摘要（supporting fact extraction）。搜索行為預測模塊在每一步?jīng)Q定執(zhí)行哪個具體的搜索行為。該模塊可以調(diào)用其它兩個模塊來生成下一步查詢語句或摘錄重要信息。每個子任務都基于生成式中文大模型來訓練。

通過組合 3 個訓練得到的模塊，該模型能夠在搜索引擎界面上執(zhí)行一系列操作以收集與問題相關(guān)的信息。每個模塊在當前界面狀態(tài) 的條件下執(zhí)行推理。 包括原始問題 、當前搜索的查詢語句 、歷史操作序列，上一個窗口和當前窗口中顯示的內(nèi)容 和 、當前已經(jīng)摘錄的支持事實。

答案綜合模型

該模型根據(jù)原問題與收集到的事實生成連貫的答案。然而與人類不同，經(jīng)過訓練的搜索模型偶爾會收集到不相關(guān)的噪聲，這將影響生成答案的質(zhì)量。為了解決這一問題，作者在答案綜合模型的訓練數(shù)據(jù)中引入噪聲，使其具備一定的去噪的能力，從而忽略不相關(guān)的事實，只關(guān)注重要的事實以生成答案。

WebCPM實驗評測

作者首先對每個子模塊分別評估，然后，將所有模塊組合起來形成整體的 pipeline，并測試其效果。最后，作者對每個模塊的性能進行深入分析。

單個子任務的性能評估結(jié)果，作者測試了包括 CPM 模型在內(nèi)的多個有代表性的中文大模型。

3.1 單個子任務評估

作者測試了多個有代表性的中文大模型，并得出以下結(jié)論（結(jié)果如上圖所示）：不同模型在四個子任務上的性能各有優(yōu)劣。例如在搜索行為預測、查詢語句生成和支持事實摘要中，mT0 的表現(xiàn)優(yōu)于 mT5，但在綜合信息方面表現(xiàn)較差。此外，CPM 系列模型的性能隨著模型參數(shù)量的增加也不斷提高。得益于 scaling law ，更大的模型通常擁有更強的理解和生成能力，能表現(xiàn)出更好的下游任務性能。

3.2 整體pipeline評測

對于每個測試問題，作者比較了模型（CPM 10B 模型）和人類用戶使用搜索引擎回答問題和做相同任務的表現(xiàn)，并進行人工評測。具體而言，給定一個問題和模型與人類分別給出的答案，標注員將根據(jù)多個因素（包括答案整體實用性、連貫性和與問題的相關(guān)性）決定哪個答案更好。

從下圖（a）的結(jié)果可以得出以下結(jié)論：模型生成的答案在30%+的情況下與人寫的答案相當或更優(yōu)。這個結(jié)果表明整個問答系統(tǒng)的性能在未來仍有巨大的提升空間（例如訓練性能更加強大的基底模型）；當將人工收集的事實應用于信息綜合模型時，性能提高到了45%，這可以歸因于收集的事實質(zhì)量的提高。

▲ 整體pipeline評測效果，作者測試了WebCPM數(shù)據(jù)集和DuReader數(shù)據(jù)集

此外，作者也將整體 pipeline 應用于 DuReader 中文 QA 數(shù)據(jù)集（包含 Zhidao 和 Search 兩個子數(shù)據(jù)集），并比較了模型生成的答案和人工標注的答案，從上圖（b）可以觀察到模型生成的答案比 DuReader 標注答案更好的情況接近50%，這反映了該模型強大的泛化能力，體現(xiàn)了WebCPM 數(shù)據(jù)標注的高質(zhì)量。

WebCPM案例分析

為了探究查詢模塊所學習到的人類行為，作者抽樣不同測試問題生成的查詢語句來進行案例分析。下圖展示了部分結(jié)果，以研究查詢模塊的性能?？梢钥闯?，該模塊已經(jīng)學會了復制原始問題，將問題分解為多個子問題，用相關(guān)術(shù)語改寫問題等多種人類搜索策略。這些策略使查詢語句更加多樣化，有助于從更多的來源收集更豐富的信息。

WebCPM成功實踐BMTools

近年來，大模型在諸多領(lǐng)域展現(xiàn)出驚人的應用價值，持續(xù)刷新各類下游任務的效果上限。盡管大模型在很多方面取得了顯著的成果，但在特定領(lǐng)域的任務上，仍然存在一定的局限性。這些任務往往需要專業(yè)化的工具或領(lǐng)域知識才能有效解決。因此，大模型需要具備調(diào)用各種專業(yè)化工具的能力，這樣才能為現(xiàn)實世界任務提供更為全面的支持。

最近，新的范式大模型工具學習（Tool Learning）應運而生。這一范式的核心在于將專業(yè)工具與基礎(chǔ)模型的優(yōu)勢相融合，以在問題解決方面達到更高的準確性、效率和自主性，工具學習極大地釋放了大模型的潛力。

在應用方面，ChatGPT Plugins 的出現(xiàn)補充了 ChatGPT 最后的短板，使其可以支持連網(wǎng)、解決數(shù)學計算，被稱為 OpenAI 的 “App Store” 時刻。然而直到現(xiàn)在，它僅支持部分 OpenAI Plus 用戶，大多數(shù)開發(fā)者仍然無法使用。為此，面壁智能前段時間也推出了工具學習引擎 BMTools，一個基于語言模型的開源可擴展工具學習平臺，它將是面壁智能在大模型體系布局中的又一重要模塊。

研發(fā)團隊將各種各樣的工具（例如文生圖模型、搜索引擎、股票查詢等）調(diào)用流程都統(tǒng)一到一個框架上，使整個工具調(diào)用流程標準化、自動化。開發(fā)者可以通過 BMTools，使用給定的模型（ChatGPT、GPT-4）調(diào)用多種多樣的工具接口，實現(xiàn)特定功能。此外，BMTools 工具包也已集成最近爆火的 Auto-GPT 與 BabyAGI。

BMTools 工具包：https://github.com/OpenBMB/BMTools

工具學習綜述鏈接：

https://arxiv.org/abs/2304.08354

工具學習論文列表：

https://github.com/thunlp/ToolLearningPapers

WebCPM 是 BMTools 的一次成功實踐，相信在不斷發(fā)展和完善大模型工具學習技術(shù)的過程中，面壁智能將讓大模型落地賦能更多產(chǎn)業(yè)。期待大模型在更多領(lǐng)域展現(xiàn)出令人驚喜的應用價值。

審核編輯 ：李倩