最新綜述！當(dāng)大型語言模型（LLM）遇上知識(shí)圖譜：兩大技術(shù)優(yōu)勢(shì)互補(bǔ)

多圖綜述理清當(dāng)前研究現(xiàn)狀，這篇 29 頁的論文值得一讀。 大型語言模型（LLM）已經(jīng)很強(qiáng)了，但還可以更強(qiáng)。通過結(jié)合知識(shí)圖譜，LLM 有望解決缺乏事實(shí)知識(shí)、幻覺和可解釋性等諸多問題；而反過來 LLM 也能助益知識(shí)圖譜，讓其具備強(qiáng)大的文本和語言理解能力。而如果能將兩者充分融合，我們也許還能得到更加全能的人工智能。 今天我們將介紹一篇綜述 LLM 與知識(shí)圖譜聯(lián)合相關(guān)研究的論文，其中既包含用知識(shí)圖譜增強(qiáng) LLM 的研究進(jìn)展，也有用 LLM 增強(qiáng)知識(shí)圖譜的研究成果，還有 LLM 與知識(shí)圖譜協(xié)同的最近成果。文中概括性的框架展示非常方便讀者參考。

論文鏈接：

https://arxiv.org/abs/2306.08302

BERT、RoBERTA 和 T5 等在大規(guī)模語料庫上預(yù)訓(xùn)練的大型語言模型（LLM）已經(jīng)能非常優(yōu)秀地應(yīng)對(duì)多種自然語言處理（NLP）任務(wù)，比如問答、機(jī)器翻譯和文本生成。近段時(shí)間，隨著模型規(guī)模的急劇增長(zhǎng)，LLM 還進(jìn)一步獲得了涌現(xiàn)能力，開拓了將 LLM 用作通用人工智能（AGI）的道路。ChatGPT 和 PaLM2 等先進(jìn)的 LLM 具有數(shù)百上千億個(gè)參數(shù)，它們已有潛力解決許多復(fù)雜的實(shí)際任務(wù)，比如教育、代碼生成和推薦。 盡管 LLM 已有許多成功應(yīng)用，但由于缺乏事實(shí)知識(shí)，它們還是備受詬病。具體來說，LLM 會(huì)記憶訓(xùn)練語料庫中包含的事實(shí)和知識(shí)。但是，進(jìn)一步的研究表明，LLM 無法回憶出事實(shí)，而且往往還會(huì)出現(xiàn)幻覺問題，即生成具有錯(cuò)誤事實(shí)的表述。舉個(gè)例子，如果向 LLM 提問：「愛因斯坦在什么時(shí)候發(fā)現(xiàn)了引力？」它可能會(huì)說：「愛因斯坦在 1687 年發(fā)現(xiàn)了引力?！沟聦?shí)上，提出引力理論的人是艾薩克?牛頓。這種問題會(huì)嚴(yán)重?fù)p害 LLM 的可信度。 LLM 是黑箱模型，缺乏可解釋性，因此備受批評(píng)。LLM 通過參數(shù)隱含地表示知識(shí)。因此，我們難以解釋和驗(yàn)證 LLM 獲得的知識(shí)。此外，LLM 是通過概率模型執(zhí)行推理，而這是一個(gè)非決斷性的過程。對(duì)于 LLM 用以得出預(yù)測(cè)結(jié)果和決策的具體模式和功能，人類難以直接獲得詳情和解釋。 盡管通過使用思維鏈（chain-of-thought），某些 LLM 具備解釋自身預(yù)測(cè)結(jié)果的功能，但它們推理出的解釋依然存在幻覺問題。這會(huì)嚴(yán)重影響 LLM 在事關(guān)重大的場(chǎng)景中的應(yīng)用，比如醫(yī)療診斷和法律評(píng)判。舉個(gè)例子，在醫(yī)療診斷場(chǎng)景中，LLM 可能誤診并提供與醫(yī)療常識(shí)相悖的解釋。這就引出了另一個(gè)問題：在一般語料庫上訓(xùn)練的 LLM 由于缺乏特定領(lǐng)域的知識(shí)或新訓(xùn)練數(shù)據(jù)，可能無法很好地泛化到特定領(lǐng)域或新知識(shí)上。 為了解決上述問題，一個(gè)潛在的解決方案是將知識(shí)圖譜（KG）整合進(jìn) LLM 中。知識(shí)圖譜能以三元組的形式存儲(chǔ)巨量事實(shí)，即 (頭實(shí)體、關(guān)系、尾實(shí)體)，因此知識(shí)圖譜是一種結(jié)構(gòu)化和決斷性的知識(shí)表征形式，例子包括 Wikidata、YAGO 和 NELL。 知識(shí)圖譜對(duì)多種應(yīng)用而言都至關(guān)重要，因?yàn)槠淠芴峁?zhǔn)確、明確的知識(shí)。此外眾所周知，它們還具有很棒的符號(hào)推理能力，這能生成可解釋的結(jié)果。知識(shí)圖譜還能隨著新知識(shí)的持續(xù)輸入而積極演進(jìn)。此外，通過讓專家來構(gòu)建特定領(lǐng)域的知識(shí)圖譜，就能具備提供精確可靠的特定領(lǐng)域知識(shí)的能力。 然而，知識(shí)圖譜很難構(gòu)建，并且由于真實(shí)世界知識(shí)圖譜往往是不完備的，還會(huì)動(dòng)態(tài)變化，因此當(dāng)前的知識(shí)圖譜方法難以應(yīng)對(duì)。這些方法無法有效建模未見過的實(shí)體以及表征新知識(shí)。此外，知識(shí)圖譜中豐富的文本信息往往會(huì)被忽視。不僅如此，知識(shí)圖譜的現(xiàn)有方法往往是針對(duì)特定知識(shí)圖譜或任務(wù)定制的，泛化能力不足。因此，有必要使用 LLM 來解決知識(shí)圖譜面臨的挑戰(zhàn)。圖 1 總結(jié)了 LLM 和知識(shí)圖譜的優(yōu)缺點(diǎn)。

▲ 圖1：LLM 和知識(shí)圖譜的優(yōu)缺點(diǎn)總結(jié) 如圖所示，LLM 的優(yōu)點(diǎn)：一般知識(shí)、語言處理、泛化能力。LLM 的缺點(diǎn)：隱含知識(shí)、幻覺問題、無法決斷問題、黑箱、缺乏特定領(lǐng)域的知識(shí)和新知識(shí)。知識(shí)圖譜的優(yōu)點(diǎn)：結(jié)構(gòu)化的知識(shí)、準(zhǔn)確度、決斷能力、可解釋性、特定領(lǐng)域的知識(shí)、知識(shí)演進(jìn)。知識(shí)圖譜的缺點(diǎn)：不完備性、缺乏語言理解、未見過的知識(shí)。 近段時(shí)間，將 LLM 和知識(shí)圖譜聯(lián)合起來的可能性受到了越來越多研究者和實(shí)踐者關(guān)注。LLM 和知識(shí)圖譜本質(zhì)上是互相關(guān)聯(lián)的，并且能彼此互相強(qiáng)化。如果用知識(shí)圖譜增強(qiáng) LLM，那么知識(shí)圖譜不僅能被集成到 LLM 的預(yù)訓(xùn)練和推理階段，從而用來提供外部知識(shí)，還能被用來分析 LLM 以提供可解釋性。 而在用 LLM 來增強(qiáng)知識(shí)圖譜方面，LLM 已被用于多種與知識(shí)圖譜相關(guān)的應(yīng)用，比如知識(shí)圖譜嵌入、知識(shí)圖譜補(bǔ)全、知識(shí)圖譜構(gòu)建、知識(shí)圖譜到文本的生成、知識(shí)圖譜問答。LLM 能夠提升知識(shí)圖譜的性能并助益其應(yīng)用。在 LLM 與知識(shí)圖譜協(xié)同的相關(guān)研究中，研究者將 LLM 和知識(shí)圖譜的優(yōu)點(diǎn)融合，讓它們?cè)谥R(shí)表征和推理方面的能力得以互相促進(jìn)。

這篇論文將在聯(lián)合 LLM 與知識(shí)圖譜方面提供一個(gè)前瞻性的路線圖，幫助讀者了解如何針對(duì)不同的下游任務(wù)，利用它們各自的優(yōu)勢(shì)，克服各自的局限。其中包含詳細(xì)的分類和全面的總結(jié)，并指出了這些快速發(fā)展的領(lǐng)域的新興方向。本文的主要貢獻(xiàn)包括：

1. 路線圖：文中提供了一份 LLM 和知識(shí)圖譜整合方面的前瞻性路線圖。這份路線圖包含聯(lián)合 LLM 與知識(shí)圖譜的三個(gè)概括性框架：用知識(shí)圖譜增強(qiáng) LLM、用 LLM 增強(qiáng)知識(shí)圖譜、LLM 與知識(shí)圖譜協(xié)同?？蔀槁?lián)合這兩種截然不同但互補(bǔ)的技術(shù)提供指導(dǎo)方針。

2. 分類和總結(jié)評(píng)估：對(duì)于該路線圖中的每種整合模式，文中都提供了詳細(xì)的分類和全新的分類法。對(duì)于每種類別，文中都從不同整合策略和任務(wù)角度總結(jié)評(píng)估了相關(guān)研究工作，從而能為每種框架提供更多見解。

3. 涵蓋了新進(jìn)展：文中覆蓋了 LLM 和知識(shí)圖譜的先進(jìn)技術(shù)。其中討論了 ChatGPT 和 GPT-4 等當(dāng)前最先進(jìn)的 LLM 以及多模態(tài)知識(shí)圖譜等知識(shí)圖譜新技術(shù)。

4. 挑戰(zhàn)和未來方向：文中也會(huì)給出當(dāng)前研究面臨的挑戰(zhàn)并給出一些有潛力的未來研究方向。 LLM和知識(shí)圖譜基礎(chǔ)知識(shí)大型語言模型（LLM） 在大規(guī)模語料庫上預(yù)訓(xùn)練的 LLM 可以解決多種 NLP 任務(wù)，擁有巨大潛力。如圖 3 所示，大多數(shù) LLM 都源自 Transformer 設(shè)計(jì)，其中包含編碼器和解碼器模塊，并采用了自注意力機(jī)制。LLM 可以根據(jù)架構(gòu)不同而分為三大類別：僅編碼器 LLM、編碼器 - 解碼器 LLM、僅解碼器 LLM。圖 2 總結(jié)了一些代表性 LLM，涉及不同架構(gòu)、模型大小和是否開源。

▲圖2：近些年有代表性的LLM。實(shí)心方框表示開源模型，空心方框則是閉源模型。

▲圖3：基于Transformer并使用了自注意力機(jī)制的LLM的示意圖

prompt 工程設(shè)計(jì) prompt 工程設(shè)計(jì)是一個(gè)全新領(lǐng)域，其關(guān)注的是創(chuàng)建和優(yōu)化 prompt，從而讓 LLM 能最有效地應(yīng)對(duì)各種不同應(yīng)用和研究領(lǐng)域。如圖 4 所示，prompt 是 LLM 的自然語言輸入序列，需要針對(duì)具體任務(wù)（如情緒分類）創(chuàng)建。prompt 可包含多個(gè)元素，即：指示、背景信息、輸入文本。指示是告知模型執(zhí)行某特定任務(wù)的短句。背景信息為輸入文本或少樣本學(xué)習(xí)提供相關(guān)的信息。輸入文本是需要模型處理的文本。

▲圖4：一個(gè)情緒分類prompt的示例

prompt 工程設(shè)計(jì)的目標(biāo)是提升 LLM 應(yīng)對(duì)多樣化復(fù)雜任務(wù)的能力，如問答、情緒分類和常識(shí)推理。思維鏈（CoT）prompt 是通過中間推理步驟來實(shí)現(xiàn)復(fù)雜推理。另一種方法則是通過整合外部知識(shí)來設(shè)計(jì)更好的知識(shí)增強(qiáng)型 prompt。自動(dòng)化 prompt 工程（APE）則是一種可以提升 LLM 性能的 prompt 自動(dòng)生成方法。prompt 讓人無需對(duì) LLM 進(jìn)行微調(diào)就能利用 LLM 的潛力。掌握 prompt 工程設(shè)計(jì)能讓人更好地理解 LLM 的優(yōu)劣之處。 知識(shí)圖譜（KG） 知識(shí)圖譜則是以 (實(shí)體、關(guān)系、實(shí)體) 三元組集合的方式來存儲(chǔ)結(jié)構(gòu)化知識(shí)。根據(jù)所存儲(chǔ)信息的不同，現(xiàn)有的知識(shí)圖譜可分為四大類：百科知識(shí)型知識(shí)圖譜、常識(shí)型知識(shí)圖譜、特定領(lǐng)域型知識(shí)圖譜、多模態(tài)知識(shí)圖譜。圖 5 展示了不同類別知識(shí)圖譜的例子。

▲圖5：不同類別知識(shí)圖譜示例 應(yīng)用 LLM 和知識(shí)圖譜都有著廣泛的應(yīng)用。表 1 總結(jié)了 LLM 和知識(shí)圖譜的一些代表性應(yīng)用。

▲表1：LLM和知識(shí)圖譜的代表性應(yīng)用

路線圖與分類下面會(huì)先給出一份路線圖，展現(xiàn)將 LLM 和知識(shí)圖譜聯(lián)合起來的框架，然后將對(duì)相關(guān)研究進(jìn)行分類。 路線圖 圖 6 展示了將 LLM 和知識(shí)圖譜聯(lián)合起來的路線圖。這份路線圖包含聯(lián)合 LLM 與知識(shí)圖譜的三個(gè)框架：用知識(shí)圖譜增強(qiáng) LLM、用 LLM 增強(qiáng)知識(shí)圖譜、LLM 與知識(shí)圖譜協(xié)同。

▲圖6：聯(lián)合知識(shí)圖譜和LLM的一般路線圖

▲圖7：LLM與知識(shí)圖譜協(xié)同的一般框架，其中包含四層：數(shù)據(jù)、協(xié)同模型、技術(shù)、應(yīng)用

分類 為了更好地理解聯(lián)合 LLM 和知識(shí)圖譜的研究，論文進(jìn)一步提供了每種框架的細(xì)粒度分類。具體來說，這里關(guān)注的是整合 LLM 與知識(shí)圖譜的不同方法，即：用知識(shí)圖譜增強(qiáng) LLM、用 LLM 增強(qiáng)知識(shí)圖譜、LLM 與知識(shí)圖譜協(xié)同。圖 8 細(xì)粒度地展示了相關(guān)研究的分類情況。

▲圖8：聯(lián)合LLM與知識(shí)圖譜的相關(guān)研究分類

用知識(shí)圖譜增強(qiáng)LLM大型語言模型在許多自然語言處理任務(wù)上都表現(xiàn)出色。但是，由于 LLM 缺乏實(shí)際知識(shí)而且常在推理時(shí)生成事實(shí)性錯(cuò)誤，因此也飽受批評(píng)。解決該問題的一種方法是用知識(shí)圖譜增強(qiáng) LLM。 具體的方式有幾種，一是使用知識(shí)圖譜增強(qiáng) LLM 預(yù)訓(xùn)練，其目的是在預(yù)訓(xùn)練階段將知識(shí)注入到 LLM 中。二是使用知識(shí)圖譜增強(qiáng) LLM 推理，這能讓 LLM 在生成句子時(shí)考慮到最新知識(shí)。三是使用知識(shí)圖譜增強(qiáng) LLM 可解釋性，從而讓我們更好地理解 LLM 的行為。表 2 總結(jié)了用知識(shí)圖譜增強(qiáng) LLM 的典型方法。

▲表2：用知識(shí)圖譜增強(qiáng)LLM的方法

用知識(shí)圖譜增強(qiáng) LLM 預(yù)訓(xùn)練 現(xiàn)有的 LLM 主要依靠在大規(guī)模語料庫上執(zhí)行無監(jiān)督訓(xùn)練。盡管這些模型在下游任務(wù)上表現(xiàn)卓越，它們卻缺少與現(xiàn)實(shí)世界相關(guān)的實(shí)際知識(shí)。在將知識(shí)圖譜整合進(jìn) LLM 方面，之前的研究可以分為三類：將知識(shí)圖譜整合進(jìn)訓(xùn)練目標(biāo)、將知識(shí)圖譜整合進(jìn) LLM 的輸入、將知識(shí)圖譜整合進(jìn)附加的融合模塊。

▲圖9：通過文本 - 知識(shí)對(duì)齊損失將知識(shí)圖譜信息注入到LLM的訓(xùn)練目標(biāo)中，其中h表示LLM生成的隱含表征。

▲圖10：使用圖結(jié)構(gòu)將知識(shí)圖譜信息注入到LLM的輸入中

▲圖11：通過附加的融合模塊將知識(shí)圖譜整合到LLM中

用知識(shí)圖譜增強(qiáng) LLM 推理 以上方法可以有效地將知識(shí)與 LLM 的文本表征融合到一起。但是，真實(shí)世界的知識(shí)會(huì)變化，這些方法的局限是它們不允許更新已整合的知識(shí)，除非對(duì)模型重新訓(xùn)練。因此在推理時(shí)，它們可能無法很好地泛化用于未見過的知識(shí)。 一些研究關(guān)注的正是分離知識(shí)空間與文本空間以及在推理時(shí)注入知識(shí)。這些方法主要關(guān)注的是問答（QA）任務(wù)，因?yàn)閱柎鸺刃枰Ｐ筒东@文本語義，還需要捕獲最新的現(xiàn)實(shí)世界知識(shí)。

▲圖12：用于LLM推理的動(dòng)態(tài)知識(shí)圖譜融合

▲圖13：通過檢索外部知識(shí)來增強(qiáng)LLM生成 用知識(shí)圖譜增強(qiáng) LLM 可解釋性 盡管 LLM 在許多 NLP 任務(wù)上都表現(xiàn)不凡，但由于缺乏可解釋性，依然備受詬病。LLM 可解釋性是指理解和解釋大型語言模型的內(nèi)部工作方式和決策過程。這能提升 LLM 的可信度并促進(jìn) LLM 在事關(guān)重大的場(chǎng)景中的應(yīng)用，比如醫(yī)療診斷和法律評(píng)判。由于知識(shí)圖譜是以結(jié)構(gòu)化的方式表示知識(shí)，因此可為推理結(jié)果提供優(yōu)良的可解釋性。因此，研究者必然會(huì)嘗試用知識(shí)圖譜來提升 LLM 的可解釋性；相關(guān)研究大致可分為兩類：用于語言模型探測(cè)的知識(shí)圖譜、用于語言模型分析的知識(shí)圖譜。

▲圖14：使用知識(shí)圖譜進(jìn)行語言模型探測(cè)的一般框架

▲圖15：使用知識(shí)圖譜進(jìn)行語言模型分析的一般框架

用LLM增強(qiáng)知識(shí)圖譜

知識(shí)圖譜的顯著特點(diǎn)就是結(jié)構(gòu)化的知識(shí)表示。它們適用于許多下游任務(wù)，比如問答、推薦和網(wǎng)絡(luò)搜索。但是，傳統(tǒng)知識(shí)圖譜往往不完備，并且已有方法往往不會(huì)考慮文本信息。 為了解決這些問題，已有研究者考慮使用 LLM 來增強(qiáng)知識(shí)圖譜，使其能考慮文本信息，從而提升在下游任務(wù)上的表現(xiàn)。表 3 總結(jié)了代表性的研究工作。這里會(huì)涉及到使用 LLM 對(duì)知識(shí)圖譜進(jìn)行不同增強(qiáng)的方法，包括知識(shí)圖譜嵌入、知識(shí)圖譜補(bǔ)全、知識(shí)圖譜到文本生成、知識(shí)圖譜問答。

▲表3：用LLM增強(qiáng)知識(shí)圖譜的代表性方法

用 LLM 增強(qiáng)知識(shí)圖譜嵌入 知識(shí)圖譜嵌入（KGE）的目標(biāo)是將每個(gè)實(shí)體和關(guān)系映射到低維的向量（嵌入）空間。這些嵌入包含知識(shí)圖譜的語義和結(jié)構(gòu)信息，可用于多種不同的任務(wù)，如問答、推理和推薦。傳統(tǒng)的知識(shí)圖譜嵌入方法主要依靠知識(shí)圖譜的結(jié)構(gòu)信息來優(yōu)化一個(gè)定義在嵌入上的評(píng)分函數(shù)（如 TransE 和 DisMult）。但是，這些方法由于結(jié)構(gòu)連接性有限，因此難以表示未曾見過的實(shí)體和長(zhǎng)尾的關(guān)系。 圖 16 展示了近期的一項(xiàng)研究：為了解決這一問題，該方法使用 LLM 來編碼實(shí)體和關(guān)系的文本描述，從而豐富知識(shí)圖譜的表征。

▲圖16：將LLM用作知識(shí)圖譜嵌入的文本編碼器

▲圖17：用于聯(lián)合文本與知識(shí)圖譜嵌入的LLM

用 LLM 增強(qiáng)知識(shí)圖譜補(bǔ)全 知識(shí)圖譜補(bǔ)全（KGC）任務(wù)的目標(biāo)是推斷給定知識(shí)圖譜中缺失的事實(shí)。類似于 KGE，傳統(tǒng) KGC 方法主要關(guān)注的是知識(shí)圖譜的結(jié)構(gòu)，而不會(huì)考慮廣泛的文本信息。 但是，近期有研究將 LLM 整合到了 KGC 方法中來編碼文本或生成事實(shí)，取得了更好的 KGC 表現(xiàn)。根據(jù)使用方式，這些方法分為兩類：將 LLM 用作編碼器（PaE）、將 LLM 用作生成器（PaG）。

▲圖18：將LLM用作編碼器（PaE）來補(bǔ)全知識(shí)圖譜的一般框架

▲圖19：將LLM用作生成器（PaG）來補(bǔ)全知識(shí)圖譜的一般框架 En. 和 De. 分別表示編碼器和解碼器。

▲圖20：使用基于prompt的PaG來補(bǔ)全知識(shí)圖譜的框架 用 LLM 增強(qiáng)知識(shí)圖譜構(gòu)建 知識(shí)圖譜構(gòu)建涉及到為特定領(lǐng)域內(nèi)的知識(shí)創(chuàng)建結(jié)構(gòu)化的表示。這包括識(shí)別實(shí)體以及實(shí)體之間的關(guān)系。知識(shí)圖譜構(gòu)建過程通常涉及多個(gè)階段，包括：實(shí)體發(fā)現(xiàn)、共指消解和關(guān)系提取。圖 21 展示了將 LLM 用于知識(shí)圖譜構(gòu)建各個(gè)階段的一般框架。近期還有研究探索了端到端知識(shí)圖譜構(gòu)建（一步構(gòu)建出完整的知識(shí)圖譜）以及直接從 LLM 中蒸餾出知識(shí)圖譜。

▲圖21：基于LLM的知識(shí)圖譜構(gòu)建的一般框架

▲圖22：從LLM中蒸餾出知識(shí)圖譜的一般框架 用 LLM 增強(qiáng)知識(shí)圖譜到文本生成 知識(shí)圖譜到文本（KG-to-text）生成的目標(biāo)是生成能準(zhǔn)確一致地描述輸入知識(shí)圖譜信息的高質(zhì)量文本。知識(shí)圖譜到文本生成連接了知識(shí)圖譜與文本，能顯著提升知識(shí)圖譜在更現(xiàn)實(shí)的自然語言生成場(chǎng)景中的可用性，包括故事創(chuàng)作和基于知識(shí)的對(duì)話。但是，收集大量知識(shí)圖譜 - 文本平行數(shù)據(jù)難度很大，成本很高，這會(huì)導(dǎo)致訓(xùn)練不充分和生成質(zhì)量差。 因此，有許多研究致力于解決這些問題：如何利用 LLM 的知識(shí)？如何構(gòu)建大規(guī)模的弱監(jiān)督知識(shí)圖譜 - 文本語料庫來解決這個(gè)問題？

▲圖23：知識(shí)圖譜到文本生成的一般框架 用 LLM 增強(qiáng)知識(shí)圖譜問答 知識(shí)圖譜問答（KGQA）的目標(biāo)是根據(jù)知識(shí)圖譜存儲(chǔ)的結(jié)構(gòu)化事實(shí)來尋找自然語言問題的答案。KGQA 有一個(gè)無可避免的挑戰(zhàn)：檢索相關(guān)事實(shí)并將知識(shí)圖譜的推理優(yōu)勢(shì)擴(kuò)展到問答任務(wù)上。因此，近期有研究采用 LLM 來填補(bǔ)自然語言問題與結(jié)構(gòu)化知識(shí)圖譜之間的空白。 圖 24 給出了將 LLM 用于 KGQA 的一般框架，其中 LLM 可用作實(shí)體 / 關(guān)系提取器和答案推理器。

▲圖24：將LLM用于知識(shí)圖譜問答的一般框架 LLM與知識(shí)圖譜協(xié)同LLM 與知識(shí)圖譜協(xié)同近年來贏得了不少關(guān)注，該方法能將 LLM 和知識(shí)圖譜的優(yōu)點(diǎn)融合，從而更好地應(yīng)對(duì)各種下游任務(wù)。舉個(gè)例子，LLM 可用于理解自然語言，同時(shí)知識(shí)圖譜可作為提供事實(shí)知識(shí)的知識(shí)庫。將 LLM 和知識(shí)圖譜聯(lián)合起來可以造就執(zhí)行知識(shí)表征和推理的強(qiáng)大模型。 這里從兩個(gè)方面關(guān)注了 LLM 與知識(shí)圖譜協(xié)同：知識(shí)表征、推理。表 4 總結(jié)了代表性的研究工作。

▲表4：LLM與知識(shí)圖譜協(xié)同方法匯總 知識(shí)表征 文本語料庫和知識(shí)圖譜都包含大量知識(shí)。但是，文本語料庫中的知識(shí)通常是隱式的和非結(jié)構(gòu)化的，而知識(shí)圖譜中的知識(shí)是顯式的和結(jié)構(gòu)化的。因此，想要以統(tǒng)一方式來表示這些知識(shí)，就必須對(duì)齊文本語料庫和知識(shí)圖譜中的知識(shí)。圖 25 給出了針對(duì)知識(shí)表征任務(wù)統(tǒng)一 LLM 和知識(shí)圖譜的一般框架。

▲圖25：針對(duì)知識(shí)表征任務(wù)統(tǒng)一LLM和知識(shí)圖譜的一般框架 KEPLER 是一種用于知識(shí)嵌入和預(yù)訓(xùn)練語言表征的統(tǒng)一模型。KEPLER 會(huì)使用 LLM 將文本實(shí)體描述編碼成它們的嵌入，然后對(duì)知識(shí)嵌入和語言建模目標(biāo)進(jìn)行聯(lián)合優(yōu)化。JointGT 提出了一種知識(shí)圖譜 - 文本聯(lián)合表征學(xué)習(xí)模型，其中提出了三個(gè)預(yù)訓(xùn)練任務(wù)來對(duì)齊知識(shí)圖譜和文本的表征。 DRAGON 則給出了一種自監(jiān)督方法，可以基于文本和知識(shí)圖譜來預(yù)訓(xùn)練一個(gè)語言 - 知識(shí)的聯(lián)合基礎(chǔ)模型。其輸入是文本片段和相關(guān)的知識(shí)圖譜子圖，并會(huì)雙向融合來自這兩種模式的信息。然后，DRAGON 會(huì)利用兩個(gè)自監(jiān)督推理任務(wù)（掩碼語言建模和知識(shí)圖譜鏈接預(yù)測(cè)）來優(yōu)化該模型的參數(shù)。HKLM 則引入了一種聯(lián)合 LLM，其整合了知識(shí)圖譜來學(xué)習(xí)特定領(lǐng)域知識(shí)的表征。 推理 為了同時(shí)利用 LLM 和知識(shí)圖譜的優(yōu)勢(shì)，研究者也通過 LLM 和知識(shí)圖譜協(xié)同來執(zhí)行多種應(yīng)用的推理任務(wù)。在問答任務(wù)中，QA-GNN 首先會(huì)利用 LLM 來處理文本問題，再引導(dǎo)知識(shí)圖譜的推理步驟。這樣一來就構(gòu)建了文本和結(jié)構(gòu)化信息之間的橋梁，從而能為推理過程提供解釋。 在知識(shí)圖譜推理任務(wù)中，LARK 提出了一種由 LLM 引導(dǎo)的邏輯推理方法。其首先會(huì)將傳統(tǒng)的邏輯規(guī)則轉(zhuǎn)換成語言序列，然后要求 LLM 推理出最終輸出。此外，Siyuan et al. 通過一個(gè)統(tǒng)一框架統(tǒng)一了結(jié)構(gòu)推理和語言模型預(yù)訓(xùn)練。給定一個(gè)文本輸入，他們采用 LLM 來生成邏輯查詢，其可在知識(shí)圖譜上執(zhí)行以獲取結(jié)構(gòu)化的上下文信息。最后，這個(gè)結(jié)構(gòu)化的上下文會(huì)與文本信息融合以生成最終輸出。 RecInDial 則將知識(shí)圖譜與 LLM 組合起來在對(duì)話系統(tǒng)中提供個(gè)性化推薦。KnowledgeDA 提出了一種統(tǒng)一的領(lǐng)域語言模型開發(fā)流程，可使用領(lǐng)域知識(shí)圖譜增強(qiáng)針對(duì)特定任務(wù)的訓(xùn)練過程。

未來方向

在聯(lián)合知識(shí)圖譜和大型語言模型方面還有諸多挑戰(zhàn)有待解決，下面簡(jiǎn)單給出了這一研究領(lǐng)域的一些未來研究方向：

將知識(shí)圖譜用于檢測(cè) LLM 的幻覺；

將知識(shí)圖譜用于編輯 LLM 中的知識(shí)；

將知識(shí)圖譜用于黑箱 LLM 知識(shí)注入；

將多模態(tài) LLM 用于知識(shí)圖譜；

將 LLM 用于理解知識(shí)圖譜的結(jié)構(gòu)；

將 LLM 和知識(shí)圖譜協(xié)同用于雙向推理。