知識圖譜與大模型結(jié)合方法概述

本文作者 | 黃巍

《Unifying Large Language Models and Knowledge Graphs: A Roadmap》總結(jié)了大語言模型和知識圖譜融合的三種路線：1）KG增強(qiáng)的LLM，可在LLMs的預(yù)訓(xùn)練和推理階段引入KGs；2）LLM增強(qiáng)KG，LLM可用于KG構(gòu)建、KG embedding、KG補(bǔ)全、基于KG的文本生成、KBQA（基于圖譜的問答）等多種場景；3）LLM+KG協(xié)同使用，主要用于知識表示和推理兩個(gè)方面。該文綜述了以上三個(gè)路線的代表性研究，探討了未來可能的研究方向。

知識圖譜（KG）和大語言模型（LLM）都是知識的表示形式。KG是符號化的知識庫，具備一定推理能力，且結(jié)果可解釋性較好。但存在構(gòu)建成本高、泛化能力不足、更新難等不足。LLM是參數(shù)化的概率知識庫，具備較強(qiáng)語義理解和泛化能力，但它是黑盒模型，可能編造子虛烏有的內(nèi)容，結(jié)果的可解釋性較差?？梢?，將LLM和KG協(xié)同使用，同時(shí)利用它們的優(yōu)勢，是一種互補(bǔ)的做法。

LLM和KG的融合路線，可分為以下類型：

第一種融合路線是KG增強(qiáng)LLM，可在LLM預(yù)訓(xùn)練、推理階段引入KG。以KG增強(qiáng)LLM預(yù)訓(xùn)練為例，一個(gè)代表工作是百度的ERNIE 3.0將圖譜三元組轉(zhuǎn)換成一段token文本作為輸入，并遮蓋其實(shí)體或者關(guān)系來進(jìn)行預(yù)訓(xùn)練，使模型在預(yù)訓(xùn)練階段直接學(xué)習(xí)KG蘊(yùn)含的知識。

第二種融合路線是LLM增強(qiáng)KG。LLM可用于KG構(gòu)建、KG embedding、KG補(bǔ)全、基于KG的文本生成、KBQA（基于圖譜的問答）等多種場景。以KG構(gòu)建為例，這是一項(xiàng)成本很高的工作，一般包含1) entity discovery 實(shí)體挖掘 2) coreference resolution 指代消解 3) relation extraction 關(guān)系抽取任務(wù)。LLM本身蘊(yùn)含知識，且具備較強(qiáng)的語義理解能力，因此，可利用LLM從原始數(shù)據(jù)中抽取實(shí)體、關(guān)系，進(jìn)而構(gòu)建知識圖譜。

第三種融合路線是KG+LLM協(xié)同使用，主要用于知識表示和推理兩個(gè)方面。以知識表示為例，文本語料庫和知識圖譜都蘊(yùn)含了大量的知識，文本中的知識通常是非結(jié)構(gòu)化的，圖譜里的知識則是結(jié)構(gòu)化的，針對一些下游任務(wù)，需要將其對齊進(jìn)行統(tǒng)一的表示。比如，KEPLER是一個(gè)統(tǒng)一的模型來進(jìn)行統(tǒng)一表示，它將文本通過LLM轉(zhuǎn)成embedding表示，然后把KG embedding的優(yōu)化目標(biāo)和語言模型的優(yōu)化目標(biāo)結(jié)合起來，一起作為KEPLER模型的優(yōu)化目標(biāo)，最后得到一個(gè)能聯(lián)合表示文本語料和圖譜的模型。示意圖如下：

小結(jié)

上述方法都在嘗試打破LLM和KG兩類不同知識表示的邊界，促使LLM這種概率模型能利用KG靜態(tài)的、符號化的知識；促使KG能利用LLM參數(shù)化的概率知識。從現(xiàn)有落地案例來看，大模型對知識的抽象程度高，泛化能力強(qiáng)，用戶開箱即用，體驗(yàn)更好。且如果采用大模型+搜索的方案，用戶更新知識的成本也較低，往知識庫加文檔即可。在實(shí)際業(yè)務(wù)場景落地時(shí)，如果條件允許，優(yōu)先考慮使用大模型。當(dāng)前chatGPT火爆，也印證了其可用性更好。如遇到以下場景時(shí)，可以考慮將LLM和KG結(jié)合使用：

?對知識可信度和可解釋性要求高的場景，比如醫(yī)療、法律等，可以考慮再建設(shè)知識圖譜來降低大模型回答錯(cuò)誤知識的概率，提高回答的可信度和可解釋性。

?已經(jīng)有一個(gè)蘊(yùn)含豐富知識的圖譜，再做大模型建設(shè)時(shí)。可以參考KG增強(qiáng)LLM的方法，將其知識融合到LLM中。

?涉及基于圖譜的多條推理能力的場景。

?涉及基于圖譜可視化展示的場景，比如企查查、天眼查等。

參考文獻(xiàn)：