本文作者 | 黃巍

《Unifying Large Language Models and Knowledge Graphs: A Roadmap》總結(jié)了大語言模型和知識圖譜融合的三種路線：1）KG增強的LLM，可在LLMs的預(yù)訓(xùn)練和推理階段引入KGs；2）LLM增強KG，LLM可用于KG構(gòu)建、KG embedding、KG補全、基于KG的文本生成、KBQA（基于圖譜的問答）等多種場景；3）LLM+KG協(xié)同使用，主要用于知識表示和推理兩個方面。該文綜述了以上三個路線的代表性研究，探討了未來可能的研究方向。

知識圖譜（KG）和大語言模型（LLM）都是知識的表示形式。KG是符號化的知識庫，具備一定推理能力，且結(jié)果可解釋性較好。但存在構(gòu)建成本高、泛化能力不足、更新難等不足。LLM是參數(shù)化的概率知識庫，具備較強語義理解和泛化能力，但它是黑盒模型，可能編造子虛烏有的內(nèi)容，結(jié)果的可解釋性較差?？梢姡瑢LM和KG協(xié)同使用，同時利用它們的優(yōu)勢，是一種互補的做法。

LLM和KG的融合路線，可分為以下類型：

第一種融合路線是KG增強LLM，可在LLM預(yù)訓(xùn)練、推理階段引入KG。以KG增強LLM預(yù)訓(xùn)練為例，一個代表工作是百度的ERNIE 3.0將圖譜三元組轉(zhuǎn)換成一段token文本作為輸入，并遮蓋其實體或者關(guān)系來進行預(yù)訓(xùn)練，使模型在預(yù)訓(xùn)練階段直接學(xué)習(xí)KG蘊含的知識。

第二種融合路線是LLM增強KG。LLM可用于KG構(gòu)建、KG embedding、KG補全、基于KG的文本生成、KBQA（基于圖譜的問答）等多種場景。以KG構(gòu)建為例，這是一項成本很高的工作，一般包含1) entity discovery 實體挖掘 2) coreference resolution 指代消解 3) relation extraction 關(guān)系抽取任務(wù)。LLM本身蘊含知識，且具備較強的語義理解能力，因此，可利用LLM從原始數(shù)據(jù)中抽取實體、關(guān)系，進而構(gòu)建知識圖譜。

第三種融合路線是KG+LLM協(xié)同使用，主要用于知識表示和推理兩個方面。以知識表示為例，文本語料庫和知識圖譜都蘊含了大量的知識，文本中的知識通常是非結(jié)構(gòu)化的，圖譜里的知識則是結(jié)構(gòu)化的，針對一些下游任務(wù)，需要將其對齊進行統(tǒng)一的表示。比如，KEPLER是一個統(tǒng)一的模型來進行統(tǒng)一表示，它將文本通過LLM轉(zhuǎn)成embedding表示，然后把KG embedding的優(yōu)化目標(biāo)和語言模型的優(yōu)化目標(biāo)結(jié)合起來，一起作為KEPLER模型的優(yōu)化目標(biāo)，最后得到一個能聯(lián)合表示文本語料和圖譜的模型。示意圖如下：

小結(jié)

上述方法都在嘗試打破LLM和KG兩類不同知識表示的邊界，促使LLM這種概率模型能利用KG靜態(tài)的、符號化的知識；促使KG能利用LLM參數(shù)化的概率知識。從現(xiàn)有落地案例來看，大模型對知識的抽象程度高，泛化能力強，用戶開箱即用，體驗更好。且如果采用大模型+搜索的方案，用戶更新知識的成本也較低，往知識庫加文檔即可。在實際業(yè)務(wù)場景落地時，如果條件允許，優(yōu)先考慮使用大模型。當(dāng)前chatGPT火爆，也印證了其可用性更好。如遇到以下場景時，可以考慮將LLM和KG結(jié)合使用：

?對知識可信度和可解釋性要求高的場景，比如醫(yī)療、法律等，可以考慮再建設(shè)知識圖譜來降低大模型回答錯誤知識的概率，提高回答的可信度和可解釋性。

?已經(jīng)有一個蘊含豐富知識的圖譜，再做大模型建設(shè)時。可以參考KG增強LLM的方法，將其知識融合到LLM中。

?涉及基于圖譜的多條推理能力的場景。

?涉及基于圖譜可視化展示的場景，比如企查查、天眼查等。

參考文獻：