0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

領(lǐng)域知識圖譜落地實(shí)踐中的問題與對策

電子工程師 ? 來源:未知 ? 作者:胡薇 ? 2018-08-07 08:21 ? 次閱讀

本報(bào)告結(jié)合復(fù)旦大學(xué)知識工場實(shí)驗(yàn)室十多個(gè)領(lǐng)域知識圖譜落地項(xiàng)目實(shí)踐,嘗試對這些問題進(jìn)行初步解答,梳理這些問題背后的關(guān)鍵科學(xué)問題,總結(jié)領(lǐng)域知識圖譜技術(shù)落地的最佳實(shí)踐,以期為各行業(yè)的知識圖譜落地實(shí)踐提供參考。

下文根據(jù)肖仰華教授近期所作報(bào)告《領(lǐng)域知識圖譜落地實(shí)踐中的問題與對策》整理而成,并經(jīng)肖仰華教授親自審核。

隨著近幾年知識圖譜技術(shù)的進(jìn)步,知識圖譜研究與落地發(fā)生了一些轉(zhuǎn)向。其中一個(gè)重要變化就是越來越多的研究與落地工作從通用知識圖譜轉(zhuǎn)向了領(lǐng)域或行業(yè)知識圖譜,轉(zhuǎn)向了企業(yè)知識圖譜。知識圖譜技術(shù)與各行業(yè)的深度融合已經(jīng)成為一個(gè)重要趨勢。

在這一過程當(dāng)中,涌現(xiàn)出一系列理論與技術(shù)問題。例如:知識圖譜技術(shù)到底能夠解決怎樣的行業(yè)痛點(diǎn)問題?知識圖譜技術(shù)與各行業(yè)融合的具體路徑是怎樣的?領(lǐng)域知識圖譜與通用知識圖譜的聯(lián)系與區(qū)別是什么?領(lǐng)域知識圖譜落地過程當(dāng)中的關(guān)鍵科學(xué)技術(shù)問題是什么?

這一系列問題的剖析與回答是進(jìn)一步推動知識圖譜技術(shù)落地實(shí)踐、生根開花的關(guān)鍵所在。本次報(bào)告主要結(jié)合復(fù)旦大學(xué)知識工場實(shí)驗(yàn)室在十多個(gè)行業(yè)的領(lǐng)域知識圖譜實(shí)踐經(jīng)歷,對領(lǐng)域知識圖譜落地實(shí)踐中的關(guān)鍵問題以及主要對策做個(gè)初步解答。

報(bào)告思路很簡單,是一問一答的形式。這里列出的問題是各個(gè)行業(yè)普遍關(guān)心的代表性的關(guān)鍵問題。

首先回答什么是領(lǐng)域知識圖譜?領(lǐng)域知識圖譜(Domain-specific Knowledge Graph: DKG)的概念是從通用知識圖譜(General-purpose Knowledge Graph: GKG)演化而來,所以我們首先闡述什么是知識圖譜(knowledge graph)。

在回答什么是知識圖譜這個(gè)問題上有個(gè)非常有意思的現(xiàn)象,一直以來,工業(yè)界和學(xué)術(shù)界都沒有對于知識圖譜給出一個(gè)嚴(yán)格的定義。如果大家去搜維基百科,會看到維基百科說知識圖譜是Google的一種知識表示。然而,一個(gè)相對嚴(yán)格的定義是必要的,我給出的定義是“大規(guī)模語義網(wǎng)絡(luò)”。

理解這個(gè)定義有兩個(gè)要點(diǎn)。第一個(gè)是語義網(wǎng)絡(luò),語義網(wǎng)絡(luò)包含的是實(shí)體、概念以及實(shí)體和概念之間各種各樣的語義關(guān)系。比如C羅是一個(gè)足球運(yùn)動員,是一個(gè)實(shí)體,金球獎(jiǎng)也是一個(gè)實(shí)體。

何為實(shí)體?黑格爾在《小邏輯》里面曾經(jīng)給實(shí)體下過一個(gè)定義:“能夠獨(dú)立存在的,作為一切屬性的基礎(chǔ)和萬物本原的東西”。也就是說實(shí)體是屬性賴以存在的基礎(chǔ),必須是自在的,也就是獨(dú)立的、不依附于其他東西而存在的。比如身高,單單說身高是沒有意義的,說“運(yùn)動員”這個(gè)類別的身高也是沒有意義的,必須說某個(gè)人的身高,才是有明確所指,有意義的。理解何為實(shí)體,對于進(jìn)一步理解屬性、概念是十分必要的。

再來看概念(concept),概念又稱之為類別(type)、類(category)等。比如“運(yùn)動員”,不是指某一個(gè)運(yùn)動員,而是指一類人,這就是一個(gè)概念。語義網(wǎng)絡(luò)中的關(guān)聯(lián)都是語義關(guān)聯(lián),這些語義關(guān)聯(lián)發(fā)生在實(shí)體之間、概念之間或者實(shí)體與概念之間。

實(shí)體與概念之間是instanceOf(實(shí)例)關(guān)系,比如“C羅”是“運(yùn)動員”的一個(gè)實(shí)例。概念之間是subclassOf(子類)關(guān)系,比如“足球運(yùn)動員”是“運(yùn)動員”的一個(gè)子類。實(shí)體與實(shí)體之間的關(guān)系十分多樣,比如“C羅”效力于“皇家馬德里球隊(duì)”。

理解知識圖譜的第二個(gè)要點(diǎn)是大規(guī)模。除了語義網(wǎng)絡(luò)之外,上個(gè)世紀(jì)伴隨著專家系統(tǒng)的研制而發(fā)展出了類別多樣的知識表示形式,比如產(chǎn)生式規(guī)則、本體、框架,還有決策樹、貝葉斯網(wǎng)絡(luò)、馬爾可夫邏輯網(wǎng)絡(luò)等。

這些知識表示表達(dá)了現(xiàn)實(shí)世界各種復(fù)雜語義。知識表示多種多樣,語義網(wǎng)絡(luò)只是各種知識表示中的一種而已。既然上世紀(jì)七八十年代有如此多的知識表示,而且知識圖譜本質(zhì)上是語義網(wǎng)絡(luò),為什么今天還要提知識圖譜?那是因?yàn)橹R圖譜與傳統(tǒng)七八十年代的知識表示有一個(gè)根本的差別,那就是在規(guī)模上的差別。知識圖譜是一個(gè)大規(guī)模語義網(wǎng)絡(luò),而七八十年代的語義網(wǎng)絡(luò)是個(gè)典型的小知識(small knowledge)。

知識圖譜的規(guī)模巨大,像Google knowledge graph在2012年發(fā)布之初就有5億多的實(shí)體,10億多的關(guān)系,如今規(guī)模更大。知識圖譜的規(guī)模之所以如此巨大,是因?yàn)樗鼜?qiáng)調(diào)對于實(shí)體的覆蓋。比如說運(yùn)動員作為一個(gè)類別在知識圖譜里涵蓋了數(shù)以萬計(jì)諸如C羅這樣的實(shí)體。知識圖譜的規(guī)模效應(yīng)帶來了效用方面的質(zhì)變。知識圖譜是典型的大數(shù)據(jù)時(shí)代產(chǎn)物。關(guān)于這些觀點(diǎn)的詳細(xì)描述參考本人的《知識圖譜與認(rèn)知智能》,在此不再贅述。

那什么是領(lǐng)域知識圖譜呢?比如“足球知識圖譜”,里面大多都是跟足球相關(guān)的實(shí)體和概念。如果知識圖譜聚焦在特定領(lǐng)域,就可以認(rèn)為是領(lǐng)域知識圖譜。領(lǐng)域知識圖譜的范疇再大一些就是行業(yè)知識圖譜了,比如農(nóng)業(yè)知識圖譜。

近幾年一些大型企業(yè)對于利用知識圖譜解決企業(yè)自身的問題十分感興趣,于是就有了橫貫企業(yè)各核心流程的企業(yè)知識圖譜。領(lǐng)域知識圖譜、行業(yè)知識圖譜與企業(yè)知識圖譜有時(shí)邊界也十分模糊。近幾年,這幾類知識圖譜得到越來越多的關(guān)注。

在理解領(lǐng)域知識圖譜時(shí),我想指出一個(gè)非常重要的觀點(diǎn),我稱之為“NoKG”,也就是Not only KG。這里是借鑒“NoSQL”的說法。首先,知識圖譜只是知識表示的一種,單單知識圖譜不足以表達(dá)現(xiàn)實(shí)世界的豐富語義,不足以解決所有問題。比如很多領(lǐng)域有著豐富的if-then規(guī)則(比如故障維修、計(jì)算機(jī)系統(tǒng)配置),這些規(guī)則利用知識圖譜表達(dá)就很牽強(qiáng),特別是對于if A and B then C 這樣的規(guī)則。

條件部分的原子表達(dá)式之間的關(guān)系可以很復(fù)雜,利用知識圖譜難以表達(dá)。知識表示方面的缺陷限制了知識圖譜解決問題的范圍。其次,知識圖譜輔以其他知識表示則有可能解決很多復(fù)雜的實(shí)際問題。作為一種語義網(wǎng)絡(luò),知識圖譜在大數(shù)據(jù)的賦能下就已經(jīng)能夠解決很多實(shí)際問題。

可以設(shè)想一下,還有更多的知識表示沒有突破規(guī)模瓶頸。在大數(shù)據(jù)的賦能下,其他類型的知識表示也將能夠解決更多實(shí)際的問題。越來越多的領(lǐng)域應(yīng)用需要的知識已經(jīng)突破了知識圖譜的范圍,對其他知識(比如產(chǎn)生式規(guī)則、貝葉斯網(wǎng)絡(luò)、決策樹等)提出了訴求。比如,我們正在嘗試聯(lián)合使用知識圖譜與產(chǎn)生式規(guī)則實(shí)現(xiàn)面向故障診斷的精準(zhǔn)語義檢索。

NoKG的另一層含義在于領(lǐng)域應(yīng)用不僅需要靜態(tài)知識,更需要?jiǎng)討B(tài)知識。知識圖譜側(cè)重于表達(dá)實(shí)體、概念之間的語義關(guān)聯(lián),這些語義關(guān)聯(lián)大多是靜態(tài)的、顯性的、客觀的、明確的。而實(shí)際應(yīng)用中對過程性、決策性知識是有著大量需求的,這些知識大部分是動態(tài)的、隱形的、帶有一定主觀性的,比如疾病診斷、投資決策、司法解釋等等。

這些應(yīng)用需要把決策的因素、機(jī)制與過程加以表達(dá)。動態(tài)知識的沉淀對于很多行業(yè)來說是強(qiáng)需求。隨著我國人口紅利消失,人力成本持續(xù)提高,特別是富有經(jīng)驗(yàn)的領(lǐng)域?qū)<页杀驹郊痈甙骸_@些人員一旦流失,會給企業(yè)造成巨大損失。為此,企業(yè)特別需要將領(lǐng)域?qū)<掖竽X中的決策知識加以沉淀,賦予機(jī)器,從而一定程度上降低對專家的依賴。

但是,動態(tài)知識的表達(dá)與獲取仍然是個(gè)具有重大挑戰(zhàn)的技術(shù)問題。很多決策過程難以明確表達(dá),很多決策因素是隱性的。比如老中醫(yī)看病,中醫(yī)智能化一直希望將有經(jīng)驗(yàn)的老中醫(yī)的看病經(jīng)驗(yàn)沉淀下來。但是老中醫(yī)自己也未必說得清楚是根據(jù)什么看病的。雖然中醫(yī)也有樸素的理論在支撐其診斷,但總體而言整個(gè)過程是模糊的。在傳統(tǒng)知識管理領(lǐng)域曾經(jīng)設(shè)計(jì)出很多激勵(lì)制度以促進(jìn)企業(yè)內(nèi)的知識表達(dá)與沉淀,但是阻力重重,收效甚微。

關(guān)鍵問題在于工程師、分析師、醫(yī)生等等領(lǐng)域?qū)<易约阂膊恢廊绾伪磉_(dá)。傳統(tǒng)知識工程通過專業(yè)的知識工程師協(xié)助領(lǐng)域?qū)<疫M(jìn)行知識獲取,但總體上的代價(jià)太大,過程太重,不易成功。動態(tài)過程的知識表達(dá)已經(jīng)困難重重,知識獲取就更加雪上加霜了。

曾有人設(shè)想獲取金牌投資經(jīng)理投資決策的知識,嘗試為投資經(jīng)理提供新聞閱讀工具,通過其點(diǎn)擊行為把握其所關(guān)注新聞,甚至通過眼球跟蹤捕捉其關(guān)注的文章片段,以期精準(zhǔn)捕捉其決策要素。知識獲取之困難可見一斑。但是知識表示及獲取的重心將逐步過渡到動態(tài)知識是必然趨勢,也是擺在研究人員面前的攻關(guān)戰(zhàn)。

現(xiàn)在回答第二個(gè)問題,DKG(領(lǐng)域知識圖譜)和GKG(通用知識圖譜)的關(guān)系和區(qū)別。首先來看GKG和DKG的區(qū)別。兩者之間的區(qū)別是明顯的,體現(xiàn)在知識表示、知識獲取和知識應(yīng)用三個(gè)層面。在知識表示層面的差別可以從廣度、深度和粒度這三個(gè)維度加以考察。從廣度來看,GKG涵蓋的范圍明顯大于DKG。

從深度來看,DKG通常更深,尤其體現(xiàn)在概念圖譜的層級體系上。比如,在娛樂領(lǐng)域,追星族們可能很關(guān)心“內(nèi)地鼻子長得帥的男明星”,在電商領(lǐng)域單單“連衣裙”不足以滿足人們的購物需求,電商圖譜中往往要涵蓋“韓版夏裝連衣裙”這樣的細(xì)分品類。

如何表達(dá)與處理這些較深層次的概念對于很多領(lǐng)域知識圖譜應(yīng)用而言是個(gè)巨大挑戰(zhàn)。需要指出的是層次較深的細(xì)粒度概念往往不是基本概念(basic concept)。這意味著不同人對這些深層次概念有著不同的認(rèn)知體驗(yàn)的,因而會有較大的主觀分歧。這就是很多人工構(gòu)建的概念層級深到一定層次就很難繼續(xù)下去的重要原因。此時(shí),數(shù)據(jù)驅(qū)動的自下而上的自動化方法往往比較適合。

第三個(gè)維度是知識表示的粒度,DKG通常涵蓋細(xì)粒度的知識。知識表示是有粒度的,知識的基本單元可以是一個(gè)文檔,也可以是文章中的段落、法律中的條款、教育資源中的知識點(diǎn)等等。傳統(tǒng)知識管理往往以文檔為單位組織企業(yè)知識資源。

在司法智能中的司法解釋往往需要將知識粒度控制在條款級別。在教育智能化領(lǐng)域,學(xué)科的知識點(diǎn)往往是個(gè)合適的粒度,以知識點(diǎn)為中心組織教學(xué)素材和資源是個(gè)可行的思路。知識表示的粒度也可以細(xì)化到知識圖譜中的實(shí)體與屬性級別,或者是邏輯規(guī)則中的條件與結(jié)果。比如法律條款可以進(jìn)一步細(xì)化到由條件與結(jié)果構(gòu)成的產(chǎn)生式規(guī)則,數(shù)學(xué)中的很多定理也可以進(jìn)一步細(xì)化為相關(guān)的公理系統(tǒng)(一組產(chǎn)生式規(guī)則)。

既然知識表示的粒度是可控的,我們應(yīng)該如何控制呢?很多場景下知識表示的粒度是個(gè)需要仔細(xì)斟酌的問題。一般而言,粒度越細(xì)表達(dá)能力越強(qiáng),但是其表達(dá)與獲取代價(jià)也越大。細(xì)粒度知識表示一般是領(lǐng)域應(yīng)用的強(qiáng)需求之一。比如在知識管理領(lǐng)域,粒度粗放已經(jīng)成為阻礙企業(yè)知識管理發(fā)展的根本問題。傳統(tǒng)知識搜索只能搜索到文檔級別,如果不幸這個(gè)文檔含有1000頁內(nèi)容,則會給用戶帶來巨大麻煩。

但是,凡事過猶不及,太細(xì)粒度的知識表示也往往會給知識獲取帶來巨大的復(fù)雜性。合理控制知識表示的粒度,不盲目求精求細(xì),是知識庫技術(shù)落地成功的關(guān)鍵思路之一。很多落地實(shí)踐中過早地陷入細(xì)粒度知識獲取的泥潭當(dāng)中,消耗巨大但收效甚微。但事實(shí)上細(xì)粒度的知識表示在很多場景下也是不必要的。因此,在實(shí)踐中建議緊扣應(yīng)用需求,從應(yīng)用出發(fā)反推需要怎樣粒度的知識表示。

在知識獲取層面,DKG對質(zhì)量往往有著極為苛刻的要求。因?yàn)楹芏囝I(lǐng)域應(yīng)用場景是極為嚴(yán)肅的(也就是mission critical 的AI應(yīng)用)。比如醫(yī)療,某個(gè)藥物有哪些禁忌癥,這類知識是不能出錯(cuò)的。

對質(zhì)量的苛刻要求自然就意味著領(lǐng)域知識圖譜構(gòu)建過程中專家參與的程度相對較高。需要指出的是,專家的積極干預(yù)并不意味著盲目的手動構(gòu)建。如何應(yīng)用好人力資源,包括哪些環(huán)節(jié)讓人參與以及專家參與的具體方式等問題一直以來就是領(lǐng)域知識圖譜落地的關(guān)鍵問題。在眾包計(jì)算中有不少方法值得借鑒。但是對于有著依賴專家經(jīng)驗(yàn)的歷史傳統(tǒng)而言,如何盡可能降低人力資源的成本是個(gè)值得深入研究的問題。

一般而言,我們期望構(gòu)建過程盡可能自動化;但是由于對目標(biāo)圖譜有著苛刻的質(zhì)量要求,最終的知識驗(yàn)證過程還是要訴諸人力。較多的人工干預(yù)自然決定了領(lǐng)域知識圖譜落地過程自動化程度相對較低。相比較而言,通用知識圖譜構(gòu)建一定要高度自動化,因?yàn)橥ㄓ弥R圖譜規(guī)模太大(動輒數(shù)千萬的實(shí)體,數(shù)億的關(guān)系),如果沒有自動化的辦法,根本無法推進(jìn),除非存在有效的大規(guī)模眾包化手段,比如知識類互動游戲等。

在知識應(yīng)用層面,首先,領(lǐng)域知識圖譜的推理鏈條往往相對較長。原因有兩個(gè)方面。一是領(lǐng)域知識圖譜相對密集。比如某個(gè)疾病在通用知識庫中相關(guān)實(shí)體可能寥寥無幾,但是在一個(gè)醫(yī)療知識圖譜中相關(guān)實(shí)體可能數(shù)以百計(jì)。知識庫建設(shè)有一個(gè)有意思的現(xiàn)象那就是永遠(yuǎn)不要指望知識庫是完備的。完備是知識庫建設(shè)永遠(yuǎn)在追求但卻無法企及的目標(biāo)。

但是,DKG相對于GKG在單個(gè)實(shí)體的相關(guān)知識覆蓋面有著明顯優(yōu)勢。也正是基于此,領(lǐng)域知識圖譜上的推理鏈條可以較長。在一個(gè)相對稠密的領(lǐng)域知識圖譜上長距離推理之后的結(jié)果仍然還可能是個(gè)有意義的結(jié)果。但是在通用知識圖譜上,由于其相對稀疏,多步推理之后語義漂移(semantic drift)嚴(yán)重,其推理結(jié)果很容易“面目全非”、“離題千里”,令人難以理解了。

所以在GKG之上的推理操作大都是基于上下文的一到兩步的推理。比如搜索“劉德華”,可以推薦他的歌曲,那是因?yàn)橹R圖譜告知我們劉德華是一個(gè)歌星,主要作品是歌曲,這是兩步的推理鏈條。

其次,領(lǐng)域知識圖譜上的計(jì)算操作也相對復(fù)雜一些。像之前提到的深度推理就是一種復(fù)雜的應(yīng)用。此外,領(lǐng)域應(yīng)用往往會涉及復(fù)雜查詢。比如在公共安全領(lǐng)域,對于重點(diǎn)監(jiān)控人群,通常需要在相關(guān)圖譜中查詢該人群形成的稠密子圖。諸如此類的復(fù)雜計(jì)算和操作,在領(lǐng)域知識圖譜中并不罕見。相反,通用知識圖譜的查詢多為一到兩步的鄰居查詢,相對簡單。

現(xiàn)在來看聯(lián)系,通用知識圖譜與領(lǐng)域知識圖譜關(guān)系是十分密切的,根本原因是人類的知識體系是有結(jié)構(gòu)的。我個(gè)人認(rèn)為人類的知識體系呈現(xiàn)出倒三角形的結(jié)構(gòu)。三角結(jié)構(gòu)越是接近底層的部分越是最為基本的、形式簡單的知識;越往上層知識越為抽象、越加多樣,也越加細(xì)分、專業(yè)性越強(qiáng)。

在個(gè)人成長的早期階段,人類通過自身身體與世界的交互習(xí)得了最為基本的常識,特別是關(guān)于時(shí)間、空間、因果的基本常識。我們知道時(shí)間是在流逝的、我們知道空間是有一定位置關(guān)系的、我們明白有因必有果。這些都是最為基本的常識。這些常識是構(gòu)建認(rèn)知體系的基礎(chǔ)。

在此基礎(chǔ)上,通過“隱喻”或者“類比”(美國的侯世達(dá)教授甚至認(rèn)為類比是智能的本質(zhì),見其《哥德爾、艾舍爾、巴赫》一書),人類發(fā)展出更為高層的知識,包括對于世界的知識(比如我們知道太陽從東邊升起,人是要呼吸的等等)、簡單關(guān)聯(lián)事實(shí)(比如下雨了,地面會潮濕)。

基于這些簡單知識,再通過隱喻和類比,進(jìn)一步形成特定領(lǐng)域的知識。很多領(lǐng)域知識本質(zhì)上是通過隱喻從基本知識發(fā)展而來的。比如人們關(guān)于社會地位的認(rèn)識,某個(gè)人社會地位較高實(shí)際上是從空間上的高低隱喻而來的。說某個(gè)人很積極、很激進(jìn),實(shí)際上是從時(shí)間的先后隱喻而來的。

最近還有一個(gè)例子,將各種芯片與人體的各器官相類比:做人工智能的芯片就好比在做大腦,做通用芯片就好比在做血管,做計(jì)算芯片就好比在做心臟,這都是典型的隱喻。所以很多領(lǐng)域知識都是從人類的基本常識和世界知識通過隱喻發(fā)展而來的。因此,領(lǐng)域知識和通用知識之間存在著千絲萬縷的聯(lián)系。理解自然語言中的隱喻現(xiàn)象也一直是自然語言處理領(lǐng)域的一個(gè)研究熱點(diǎn)。

DKG與GKG的另一個(gè)聯(lián)系在于行業(yè)應(yīng)用對于領(lǐng)域知識的需求難以閉合。也就是說,很多行業(yè)應(yīng)用看上去好像只需要領(lǐng)域知識,但是實(shí)際應(yīng)用過程中往往會超出領(lǐng)域所預(yù)先設(shè)定的知識邊界。

比如在金融知識圖譜落地過程中,本以為涵蓋公司、法人、機(jī)構(gòu)、產(chǎn)品等就足夠了。但是實(shí)際應(yīng)用過程中我們發(fā)現(xiàn)這些類型的知識還遠(yuǎn)遠(yuǎn)不夠。比如基于金融知識圖譜的關(guān)聯(lián)分析往往會牽扯出幾乎萬事萬物。比如說諸如龍卷風(fēng)的氣候?yàn)?zāi)害,會使得農(nóng)作物產(chǎn)量下降,農(nóng)業(yè)機(jī)械的出貨量因而就會下降,農(nóng)機(jī)的發(fā)動機(jī)產(chǎn)量也就相應(yīng)要下降,從事農(nóng)機(jī)發(fā)動機(jī)關(guān)鍵部件生產(chǎn)的公司業(yè)績就會下降,相關(guān)公司的股票可能就會下跌。這個(gè)例子形象地說明幾乎一切事物在某種意義下都是跟金融有關(guān)系。

事實(shí)上,一切實(shí)體都身處在一個(gè)復(fù)雜的因果網(wǎng)絡(luò)中,世界是普遍關(guān)聯(lián)的。這就導(dǎo)致沿著任何一個(gè)實(shí)體開展關(guān)聯(lián)分析都極為容易超出預(yù)先設(shè)定的知識邊界。因此,行業(yè)應(yīng)用中的知識需求難以封閉于領(lǐng)域知識的邊界范圍內(nèi)。換言之,越為封閉的應(yīng)用場景,機(jī)器越容易取得成功。

所謂封閉是指一個(gè)有限的知識子集足以支撐應(yīng)用需求。比如,AlphaGo的成功很大程度上得益于圍棋游戲規(guī)則有限,整個(gè)游戲過程不會用到下棋規(guī)則之外的知識。但對于星際爭霸之類的游戲,機(jī)器取得優(yōu)異成績就顯得較為困難。因?yàn)檫@類策略性游戲所用到的知識類型多樣,不僅需要有關(guān)排兵布陣、武器應(yīng)用、戰(zhàn)場環(huán)境等相關(guān)知識,還可能涉及很多與社會及文化相關(guān)的知識。智能客服等領(lǐng)域的成功也一定程度上歸功于客服知識的相對封閉。

所以,領(lǐng)域應(yīng)用所涉及的知識體系越是封閉,越容易成功。這是在很多領(lǐng)域知識圖譜落地過程中選擇應(yīng)用試點(diǎn)時(shí),應(yīng)該遵循的一個(gè)基本原則。

延續(xù)上面的分析,進(jìn)一步可以回答業(yè)界十分關(guān)心的一個(gè)問題:知識圖譜在什么樣的應(yīng)用中易于成功?知識圖譜落地應(yīng)用往往遵循一個(gè)循序漸進(jìn)的推進(jìn)過程。因此,很多行業(yè)都希望選取特定場景先行試點(diǎn),那么選擇什么樣的場景進(jìn)行優(yōu)先驗(yàn)證呢?知識圖譜只是整個(gè)智能化技術(shù)的手段之一。

知識圖譜不能解決行業(yè)的所有問題,那么,某個(gè)特定的行業(yè)應(yīng)用到底能否受益于知識圖譜技術(shù)?這些都是知識圖譜的行業(yè)應(yīng)用亟需回答的問題。

我根據(jù)前兩頁內(nèi)容中觀點(diǎn),給出幾個(gè)選擇依據(jù)。第一、領(lǐng)域知識相對封閉。已經(jīng)闡明,越是封閉的領(lǐng)域越容易成功。第二、簡單知識與簡單應(yīng)用。何為簡單知識?關(guān)于知識復(fù)雜性的評估實(shí)際上是個(gè)非常復(fù)雜的問題。知識復(fù)雜性的內(nèi)在機(jī)理和評測機(jī)制是個(gè)十分有趣的科學(xué)問題。從操作層面來看,可以從特定人群學(xué)習(xí)某類知識所需要時(shí)間來評估。假設(shè)我們只考慮完成了基礎(chǔ)教育(比如中國的九年制基礎(chǔ)教育)的人群。對于不同知識,這一人群學(xué)習(xí)周期不一。

比如,很顯然對于某個(gè)企業(yè)的客服知識,幾乎一周簡單培訓(xùn)就可以上崗。但是對于治病的知識,即便一個(gè)醫(yī)學(xué)院學(xué)生可能也要十多年才能掌握。所以,大部分對于人而言簡單崗位培訓(xùn)就能勝任的工作,也往往適用于機(jī)器,是有可能優(yōu)先被機(jī)器所代替的。還有些應(yīng)用場景屬于知識的簡單應(yīng)用,比如同樣是在醫(yī)療領(lǐng)域,醫(yī)院的導(dǎo)診崗位,就屬于醫(yī)學(xué)知識的簡單應(yīng)用。只需要根據(jù)癥狀進(jìn)行簡單的分類,即便不夠精準(zhǔn),在具體科室醫(yī)生治療時(shí)還有進(jìn)一步糾正的機(jī)會。

第三、較少涉及常識。如果領(lǐng)域應(yīng)用所涉及的知識集中在人類知識結(jié)構(gòu)的上層(也就是專業(yè)性較強(qiáng)的知識),較少涉及底層的常識,則相對容易成功。其根本原因在于常識的獲取是異常困難的。人類很容易理解常識,但是對于機(jī)器而言常識理解卻十分困難。我們知道太陽從東邊升起,人是兩條腿走路的,魚是在水里游的,而機(jī)器很難知道這些常識。因?yàn)槌WR是人類在學(xué)齡前通過身體與世界的交互與體驗(yàn)積累而得。我們每個(gè)人都理解常識,因而不用掛在嘴邊說明,就能彼此理解。

因此,文本或者語料中對于常識鮮有提及,常識因而也就無從抽取。常識缺失也就成了知識庫、知識工程,乃至整個(gè)人工智能的痛點(diǎn)問題。目前機(jī)器智能在常識理解方面仍然舉步維艱。因此,我認(rèn)為大量用到常識的應(yīng)用面臨巨大挑戰(zhàn)。比如說有公司想做財(cái)務(wù)報(bào)銷方面的智能化,此類場景就有可能涉及很多常識。比如半夜12點(diǎn)打出租車,或者說打出租車打了四五個(gè)小時(shí),又或者從美國飛到上海只飛了一個(gè)小時(shí),這都是有問題的。這些問題我們?nèi)祟惡苋菀鬃R別,因?yàn)槎际浅WR問題,但對機(jī)器而言就很困難。

還有一個(gè)非常典型的大量用到常識的場景就是刑偵智能化。公安人員在破案過程中用到大量常識,嫌疑人往往是基于證據(jù)根據(jù)常識進(jìn)行推理而鎖定的,因此讓機(jī)器代替刑偵人員破案仍十分困難。

很多領(lǐng)域知識圖譜應(yīng)用的方案是建立在通用知識圖譜基礎(chǔ)之上的。GKG對于DKG有著重要的支撐作用。一方面,GKG可以給很多DKG提供高質(zhì)量的種子事實(shí)。這些種子事實(shí)可以用做樣本指導(dǎo)抽取模型的訓(xùn)練。

另一方面,GKG可以提供領(lǐng)域模式(Schema)。領(lǐng)域知識圖譜構(gòu)建時(shí)需要花費(fèi)巨大精力設(shè)計(jì)領(lǐng)域模式,比如為了構(gòu)建娛樂領(lǐng)域知識圖譜,必須首先明確描述歌手的屬性列表(有時(shí)又稱作template)中應(yīng)該包括專輯、代表作、簽約公司等屬性。

雖然GKG對于特定領(lǐng)域的實(shí)體覆蓋率不高,但是通過聚合GKG中所有歌手信息,有關(guān)歌手的描述模板基本上已經(jīng)能夠滿足初步需要。后續(xù)只需要在初始模板基礎(chǔ)上逐步完善即可。能否充分利用通用知識圖譜對很多領(lǐng)域知識圖譜的構(gòu)建具有重要意義。這就是為什么很多團(tuán)隊(duì)不遺余力地做好通用知識圖譜(比如我們實(shí)驗(yàn)室的通用百科知識圖譜CN-DBpedia和通用概念圖譜CN-Probase)的重要原因。

領(lǐng)域圖譜建好之后又可以反哺通用知識圖譜。復(fù)旦知識工場實(shí)驗(yàn)室就是按照這個(gè)思路持續(xù)運(yùn)營多年。我們先通過通用知識圖譜為各領(lǐng)域知識圖譜構(gòu)建提供大量的種子事實(shí),使得快速構(gòu)建很多領(lǐng)域知識圖譜成為可能。各領(lǐng)域知識圖譜做的很深很細(xì)之后,可以反過來補(bǔ)充通用知識圖譜。GKG與DKG這種互補(bǔ)形式的架構(gòu)在很多領(lǐng)域的知識圖譜落地中是個(gè)非常重要的架構(gòu)。

知識表示其實(shí)一直以來都有兩種基本的方式:符號化表示與數(shù)值型表示。兩者孰優(yōu)孰劣?各自的適用場景是怎樣的?一直是知識圖譜落地過程中常被問及的問題。第一種是符號化(Symbol)的表示,比如說PPT左上角的小規(guī)模語義網(wǎng)絡(luò),表達(dá)了約翰給瑪麗一本書這樣的事實(shí)。這個(gè)例子中大量的使用了字符、箭頭等符號。顯然,符號表示形象直觀,易于我們理解。人是可以理解符號的,但是沒辦法理解向量。知識表示還有一種表示是數(shù)值化的分布式表示,它是面向機(jī)器的。機(jī)器是無法“理解”符號的,只能處理數(shù)值和向量。分布式表示是將符號知識集成到深度學(xué)習(xí)框架中的一種基本方式。符號化表示是一種顯性的表示,而分布式表示是一種隱性的表示。符號化表示易理解、可解釋,而分布式表示是難解釋、難理解的。符號化表示的另一優(yōu)點(diǎn)在于推理能力。比如數(shù)學(xué)定理證明都是基于符號推理進(jìn)行的。雖然基于知識圖譜的分布式表示,也可以開展一定程度上的推理,但是需要指出的是分布式推理已經(jīng)很大程度上丟失了知識圖譜原有的語義,分布式推理只能推理語義相關(guān)性,而無法明確是何種意義下的語義相關(guān)。我個(gè)人傾向于認(rèn)為分布式推理離實(shí)用還很遙遠(yuǎn)。如果非要為知識圖譜上的分布式推理找到應(yīng)用場景,那只能作為很多復(fù)雜任務(wù)的預(yù)處理步驟,將明顯語義不相關(guān)的元素加以剪枝,后續(xù)仍需要能夠充分利用符號語義的方法進(jìn)行精準(zhǔn)的語義推理。

不管是大數(shù)據(jù)時(shí)代還是人工智能時(shí)代,都需要領(lǐng)域知識圖譜。我曾在《知識圖譜與認(rèn)知智能》這一報(bào)告中詳細(xì)闡述過相關(guān)觀點(diǎn)。這里補(bǔ)充幾個(gè)觀點(diǎn)。首先,需要知識圖譜去構(gòu)建知識引擎,去釋放大數(shù)據(jù)的價(jià)值。很多行業(yè)和企業(yè)都有數(shù)據(jù),都有大數(shù)據(jù)。但是這些大數(shù)據(jù)非但沒有創(chuàng)造價(jià)值,反而成為了很多行業(yè)的負(fù)擔(dān)。阻礙大數(shù)據(jù)價(jià)值變現(xiàn)的根本原因在于缺少智能化的手段,更具體而言就是缺少一個(gè)能像人一樣能夠理解行業(yè)數(shù)據(jù)的知識引擎。

行業(yè)從業(yè)人員為什么能理解行業(yè)數(shù)據(jù)進(jìn)而開展行業(yè)工作呢,那是因?yàn)樾袠I(yè)從業(yè)人員具有相應(yīng)的行業(yè)知識。如果把同樣的行業(yè)知識賦予機(jī)器,構(gòu)建一個(gè)行業(yè)知識引擎,那么機(jī)器也就可能代替人去理解、挖掘、分析、使用數(shù)據(jù),可以代替行業(yè)從業(yè)人員挖掘數(shù)據(jù)中的價(jià)值。

簡言之,將行業(yè)知識賦予機(jī)器,讓機(jī)器代替行業(yè)從業(yè)人員從事簡單知識工作,是當(dāng)下以及未來一段時(shí)間內(nèi)基于機(jī)器認(rèn)知智能的行業(yè)智能化的本質(zhì)。在行業(yè)智能化的實(shí)現(xiàn)進(jìn)程中,通過領(lǐng)域知識圖譜對數(shù)據(jù)進(jìn)行提煉、萃取、關(guān)聯(lián)、整合,形成行業(yè)知識或領(lǐng)域知識,讓機(jī)器形成對于行業(yè)工作的認(rèn)知能力,從而實(shí)現(xiàn)一個(gè)行業(yè)知識引擎,實(shí)現(xiàn)知識工作自動化,已經(jīng)成為了行業(yè)智能化日漸清晰的一條路徑。

伴隨著人工智能時(shí)代的到來,“智能”機(jī)器無處不在,手表、手環(huán)、手機(jī)、音響、電視、機(jī)器人等等都已是隨處可見的“智能”實(shí)體,這些機(jī)器逐步走入人們的生活。但是現(xiàn)在機(jī)器普遍不具備人們所期望的智能,與人類智能相比只能算是機(jī)器“智障”。機(jī)器“智障”的根本原因是這些機(jī)器沒有一個(gè)像人一樣聰慧的大腦。

事實(shí)上,機(jī)器最缺的是一個(gè)機(jī)器智腦。沒有這樣的智腦,機(jī)器只能是一具沒有“靈魂”的僵尸。人腦之所以能給人類帶來智慧的根本原因在于人腦能夠存儲知識與利用知識。類似地,機(jī)器智腦也需要有知識的充實(shí),才能夠形成真正意義上的機(jī)器智能。富含各類知識的機(jī)器智腦,可以理解人類的語言與行為,能夠理解我們所從事的行業(yè)工作,從而使得自然人機(jī)交互成為可能,使得人機(jī)協(xié)同混合智能成為可能。最終為機(jī)器融入人類社會掃清障礙,促進(jìn)人機(jī)和諧共存。

從社會發(fā)展的角度來看,可以說將領(lǐng)域知識賦予機(jī)器,將是進(jìn)一步提高機(jī)器生產(chǎn)力、釋放勞動力資源、降低人力成本的重要技術(shù)。伴隨著我國人口紅利的逐步消失,各行業(yè)的人力成本普遍提高,各行業(yè)對于機(jī)器生產(chǎn)力的提升提出了普遍訴求。伴隨著工業(yè)4.0的推進(jìn)以及自動化技術(shù)普及,傳統(tǒng)實(shí)體行業(yè)人的體力勞動已經(jīng)逐步被解放。人力資源成本釋放的空間已經(jīng)逐步從體力勞動轉(zhuǎn)向腦力勞動。

當(dāng)下,人工智能技術(shù)給人力成本降低帶來的新機(jī)遇主要體現(xiàn)在用機(jī)器代替人的腦力勞動,特別是各行業(yè)的簡單知識工作將逐步為機(jī)器所代替。機(jī)器的記憶幾乎是無窮無盡的,機(jī)器決策時(shí)可以同時(shí)考慮數(shù)百萬變量,機(jī)器運(yùn)算的速度遠(yuǎn)超人類,所以一旦把行業(yè)知識賦予機(jī)器,就能實(shí)現(xiàn)高度自動化的機(jī)器工作。在這一背景下,各行業(yè)都走上了智能化升級轉(zhuǎn)型的道路,而實(shí)現(xiàn)機(jī)器的認(rèn)知能力是智能化升級轉(zhuǎn)型的基本路徑。

以政府?dāng)?shù)據(jù)治理為例,在政府領(lǐng)域,由于歷史原因,政府各部門的信息系統(tǒng)的建設(shè)多是各自為陣,形成了大量的信息孤島,這就給政府?dāng)?shù)據(jù)價(jià)值發(fā)揮帶來了巨大障礙。這些障礙尤為集中地體現(xiàn)在政府?dāng)?shù)據(jù)治理與應(yīng)用方面,碎片化數(shù)據(jù)難以融合、數(shù)據(jù)共享開放缺乏必要依據(jù)、政府決策仍然缺乏來自數(shù)據(jù)的有效支撐、政府?dāng)?shù)據(jù)的應(yīng)用模式相對單一。

但如果有了領(lǐng)域知識圖譜,就可以為數(shù)據(jù)融合提供元數(shù)據(jù),將政府?dāng)?shù)據(jù)融合從繁重的手工整合中解放出來。比如ID與身份證通常指代相同的字段,這樣的元數(shù)據(jù)可以自動建立A數(shù)據(jù)庫中名為“ID”的字段與B數(shù)據(jù)庫中名為“身份證”字段的映射。政府在大力推進(jìn)政府?dāng)?shù)據(jù)共享和開放過程中,必須確保數(shù)據(jù)安全。

比如個(gè)人隱私數(shù)據(jù)很敏感是不可以開放的,當(dāng)前擬開放的數(shù)據(jù)都要經(jīng)過人工的審慎判斷,耗時(shí)耗力。但事實(shí)上知識圖譜可以為政府?dāng)?shù)據(jù)開放提供必要的背景知識。比如如果設(shè)定了個(gè)人信息是不能開放的,那么個(gè)人的住址、出生日期等等都是不能開放的,這可以通過背景知識庫自動推斷得到。政府?dāng)?shù)據(jù)的決策和分析缺乏可解釋依據(jù),這些依據(jù)都可以從領(lǐng)域知識圖譜里去尋找。

當(dāng)前政府?dāng)?shù)據(jù)的應(yīng)用多是簡單的檢索與分析,缺乏基于深度推理的智能應(yīng)用。而推理需要一個(gè)基本的載體,推理載體的天然選擇是知識圖譜?;诜柣闹R圖譜,可以開展有效的深度推理。

領(lǐng)域知識圖譜系統(tǒng)的生命周期包含四個(gè)重要環(huán)節(jié):知識表示、知識獲取、知識管理與知識應(yīng)用。這四個(gè)環(huán)節(jié)循環(huán)迭代。知識應(yīng)用環(huán)節(jié)明確應(yīng)用場景,明確知識的應(yīng)用方式。

知識表示定義了領(lǐng)域的基本認(rèn)知框架,明確領(lǐng)域有哪些基本的概念,概念之間有哪些基本的語義關(guān)聯(lián)。比如企業(yè)家與企業(yè)之間的關(guān)系可以是創(chuàng)始人關(guān)系,這是認(rèn)知企業(yè)領(lǐng)域的基本知識。知識表示只提供機(jī)器認(rèn)知的基本骨架,還要通過知識獲取環(huán)節(jié)來充實(shí)大量知識實(shí)例。比如喬布斯是個(gè)企業(yè)家,蘋果公司是家企業(yè),喬布斯與蘋果公司就是“企業(yè)家-創(chuàng)始人-企業(yè)”這個(gè)關(guān)系的一個(gè)具體實(shí)例。知識實(shí)例獲取完成之后,就是知識管理。這個(gè)環(huán)節(jié)將知識加以存儲與索引,并為上層應(yīng)用提供高效的檢索與查詢方式,實(shí)現(xiàn)高效的知識訪問。

四個(gè)環(huán)節(jié)環(huán)環(huán)相扣,彼此構(gòu)成相鄰環(huán)節(jié)的輸入與輸出。在知識的具體應(yīng)用過程中,會不斷得到用戶的反饋,這些反饋會對知識表示、獲取與管理提出新的要求,因此整個(gè)生命周期會不斷迭代持續(xù)演進(jìn)下去。

在整個(gè)生命周期中,我認(rèn)為最重要的是明確知識的應(yīng)用場景,也就是回答清楚一個(gè)問題:利用領(lǐng)域知識解決怎樣的應(yīng)用問題。再根據(jù)應(yīng)用來反推到底需要怎樣的知識表示,明確知識邊界。在當(dāng)下的很多知識圖譜應(yīng)用實(shí)踐中,有一個(gè)不好的苗頭就是“為了圖譜而圖譜”。雖然知識圖譜是當(dāng)下的熱點(diǎn)技術(shù),盡管每年各行業(yè)大量的信息化預(yù)算苦苦尋求好的落地項(xiàng)目,盡管資本界熱錢涌動尋求好的投資標(biāo)的,但是不應(yīng)以知識圖譜為名,不應(yīng)盲目炒作知識圖譜技術(shù)。

知識圖譜技術(shù)是當(dāng)下熱點(diǎn)不假,但絕不是萬能技術(shù)。它能解決的問題是有限的,它的成功應(yīng)用有著苛刻的條件。需要謹(jǐn)慎選擇落地場景;需要客觀評估技術(shù)成熟度以及技術(shù)與應(yīng)用的適配程度;需要充分考慮資源與收益的平衡等一系列問題。

為圖譜而圖譜,或者僅以圖譜為名而行悖圖譜之實(shí),對知識圖譜產(chǎn)業(yè)有百害而無一利。歷史上前車之鑒太多了。很多做AI的研究人員與公司,最終落得個(gè)“騙子”下場。歷史上的AI技術(shù)的演進(jìn)道路呈現(xiàn)出大起大落之勢。

這一系列現(xiàn)象歸根結(jié)底是因?yàn)槿藗儗τ贏I預(yù)期過高,盲目大規(guī)模上線很多知識工程項(xiàng)目,無視應(yīng)用場景而對知識庫盲目求大求全。殊不知人之所以偉大其實(shí)就在于任何一個(gè)普通人所掌握的知識都可以說是無邊無界的。我們現(xiàn)在構(gòu)建的知識庫離機(jī)器達(dá)到普通人認(rèn)知世界所需要的水平還十分遙遠(yuǎn)。知識資源建設(shè)可以說是永遠(yuǎn)在路上,沒有最好,只有更好。

所以,比較務(wù)實(shí)的作法是:謹(jǐn)慎選擇合適的應(yīng)用場景,構(gòu)建滿足場景需要的知識資源。這背后體現(xiàn)的也是典型的自下而上的建設(shè)思路。大而全、自上而下、運(yùn)動式知識資源建設(shè)(這個(gè)經(jīng)常是國內(nèi)的典型方式),容易遇到難以逾越的技術(shù)瓶頸。一言以蔽之,知識資源建設(shè)的基本原則是適度?!斑m”是指對于特定應(yīng)用場景的適配,“度”是指合理把控知識的邊界與體量。

我們常用三元組表示領(lǐng)域知識圖譜。我想強(qiáng)調(diào)一點(diǎn),知識圖譜只能表達(dá)一些簡單的關(guān)聯(lián)事實(shí),但很多領(lǐng)域應(yīng)用的需求已經(jīng)遠(yuǎn)遠(yuǎn)超出了三元組所能表達(dá)的簡單關(guān)聯(lián)事實(shí),實(shí)際應(yīng)用日益對于利用更加多元的知識表示豐富和增強(qiáng)知識圖譜的語義表達(dá)能力提出了需求。

這一趨勢首先體現(xiàn)在對于時(shí)間和空間語義的拓展與表達(dá)方面。有很多知識和事實(shí)是有時(shí)間和空間條件的,比如說“美國總統(tǒng)是特朗普”這個(gè)事實(shí)的成立是有時(shí)間條件的,十年前美國的總統(tǒng)不是特朗普,十年之后應(yīng)該也不大可能是特朗普。還有很多事實(shí)是有空間條件的,比如“早餐是燒餅與油條”這件事,在中國是這樣,但是在西方并非如此,西方的早餐可能是咖啡、面包。

從時(shí)空維度拓展知識表示對很多特定領(lǐng)域具有較強(qiáng)的現(xiàn)實(shí)意義。比如在位置相關(guān)的應(yīng)用中,如何將POI(Point of Interest)與該P(yáng)OI相關(guān)實(shí)體加以關(guān)聯(lián),成為當(dāng)下拓展POI語義表示的重要任務(wù)之一。比如將“邯鄲路220號”(復(fù)旦大學(xué)地址)關(guān)聯(lián)到“復(fù)旦大學(xué)”是十分有意義的。在互聯(lián)網(wǎng)娛樂領(lǐng)域,粉絲們往往不僅僅關(guān)心某個(gè)明星的妻子是誰,可能更關(guān)心明星的前任妻子、前任女友等信息,這些應(yīng)用都對事實(shí)成立的時(shí)間提出了需求。

第二、增強(qiáng)知識圖譜的跨媒體語義表示。當(dāng)前的知識圖譜主要以文本為主,但是實(shí)際應(yīng)用需要有關(guān)某個(gè)實(shí)體的各種媒體表示方式,包括聲音、圖片、視頻等等。比如對于實(shí)體“Tesla Model S”,我們需要將其關(guān)聯(lián)到相應(yīng)圖片和視頻。知識圖譜時(shí)空維度拓展在物理實(shí)現(xiàn)上可以通過定義四元組或者五元組加以實(shí)現(xiàn)??缑襟w表示可以通過定義相關(guān)的屬性加以實(shí)現(xiàn)。

知識圖譜的語義增強(qiáng)總體上而言將是未來一段時(shí)間知識表示的重要任務(wù)。知識圖譜作為語義網(wǎng)絡(luò),側(cè)重于表達(dá)實(shí)體、概念之間的語義關(guān)聯(lián),還難以表達(dá)復(fù)雜因果關(guān)聯(lián)與復(fù)雜決策過程。

如何利用傳統(tǒng)知識表示增強(qiáng)知識圖譜,或者說如何融合知識圖譜與傳統(tǒng)知識表示,更充分地滿足實(shí)際應(yīng)用需求,是知識圖譜領(lǐng)域值得研究的問題之一。在一些實(shí)際應(yīng)用中,研究人員已經(jīng)開始嘗試各種定制的知識表示,在知識圖譜基礎(chǔ)上適當(dāng)擴(kuò)展其他知識表示是一個(gè)值得嘗試的思路。

領(lǐng)域知識圖譜的構(gòu)建是個(gè)領(lǐng)域知識的獲取過程。這一過程系統(tǒng)性強(qiáng),涉及眾多技術(shù)手段。但是其基本流程具有一定共性,如PPT所示。

第一步是模式(Schema)設(shè)計(jì)。這一步是傳統(tǒng)本體設(shè)計(jì)所要解決的問題?;灸繕?biāo)是把認(rèn)知領(lǐng)域的基本框架賦予機(jī)器。在所謂認(rèn)知基本框架中需要指定領(lǐng)域的基本概念,以及概念之間subclassof關(guān)系(比如足球領(lǐng)域需要建立“足球運(yùn)動員”是“運(yùn)動員”的子類);需要明確領(lǐng)域的基本屬性;明確屬性的適用概念;明確屬性值的類別或者范圍。比如“效力球隊(duì)”這個(gè)屬性一般是定義在足球運(yùn)動員這個(gè)概念上,其合理取值是一個(gè)球隊(duì)。

此外,領(lǐng)域還有大量的約束或規(guī)則,比如對于屬性是否可以取得多值的約束(比如“獎(jiǎng)項(xiàng)”作為屬性是可以取得多值的),再比如球隊(duì)的“隸屬球員”屬性與球員的“效力球隊(duì)”是一對互逆屬性。這些元數(shù)據(jù)對于消除知識庫不一致、提升知識庫質(zhì)量具有重要意義。

第二步是明確數(shù)據(jù)來源。在這一步要明確建立領(lǐng)域知識圖譜的數(shù)據(jù)來源??赡軄碜曰ヂ?lián)網(wǎng)上的領(lǐng)域百科爬取,可能來自通用百科圖譜的導(dǎo)出、可能來自內(nèi)部業(yè)務(wù)數(shù)據(jù)的轉(zhuǎn)換,可能來自外部業(yè)務(wù)系統(tǒng)的導(dǎo)入。應(yīng)該盡量選擇結(jié)構(gòu)化程度相對較高、質(zhì)量較好的數(shù)據(jù)源,以盡可能降低知識獲取代價(jià)。

第三步是詞匯挖掘。人們從事某個(gè)行業(yè)的知識的學(xué)習(xí),都是從該行業(yè)的基本詞匯開始的。在傳統(tǒng)圖書情報(bào)學(xué)領(lǐng)域,領(lǐng)域知識的積累往往是從敘詞表的構(gòu)建開始的。敘詞表里涵蓋的大都是領(lǐng)域的主題詞,及這些詞匯之間的基本語義關(guān)聯(lián)。在這一步我們是要識別領(lǐng)域的高質(zhì)量詞匯、同義詞、縮寫詞,以及領(lǐng)域的常見情感詞。比如在政治領(lǐng)域,我們需要知道特朗普又被稱為川普,其英文簡稱為Trump。

第四步是領(lǐng)域?qū)嶓w發(fā)現(xiàn)(或挖掘)。需要指出的是領(lǐng)域詞匯只是識別出領(lǐng)域中的重要短語和詞匯。但是這些短語未必是一個(gè)領(lǐng)域?qū)嶓w。從領(lǐng)域文本識別某個(gè)領(lǐng)域常見實(shí)體是理解領(lǐng)域文本和數(shù)據(jù)的關(guān)鍵一步。

在實(shí)體識別后,還需對實(shí)體進(jìn)行實(shí)體歸類。能否把實(shí)體歸到相應(yīng)的類別(或者說將某個(gè)實(shí)體與領(lǐng)域類別或概念進(jìn)行關(guān)聯(lián)),是實(shí)體概念化的基本目標(biāo),是理解實(shí)體的關(guān)鍵步驟。比如將特朗普歸類到政治人物、美國總統(tǒng)等類別,對于理解特朗普的含義具有重要意義。

實(shí)體挖掘的另一個(gè)重要任務(wù)是實(shí)體鏈接,也就是將文本里的實(shí)體提及(Mention)鏈接到知識庫中的相應(yīng)實(shí)體。實(shí)體鏈接是拓展實(shí)體理解,豐富實(shí)體語義表示的關(guān)鍵步驟。

第五步是關(guān)系發(fā)現(xiàn)。關(guān)系發(fā)現(xiàn),或者知識庫中的關(guān)系實(shí)例填充,是整個(gè)領(lǐng)域知識圖譜構(gòu)建的重要步驟。關(guān)系發(fā)現(xiàn)根據(jù)不同的問題模型又可以分為關(guān)系分類、關(guān)系抽取和開放關(guān)系抽取等不同變種。

關(guān)系分類旨在將給定的實(shí)體對分類到某個(gè)已知關(guān)系;關(guān)系抽取旨在從文本中抽取某個(gè)實(shí)體對的具體關(guān)系;開放關(guān)系抽取(OpenIE)從文本中抽取出實(shí)體對之間的關(guān)系描述。也可以綜合使用這幾種模型與方法,比如根據(jù)開放關(guān)系抽取得到的關(guān)系描述將實(shí)體對分類到知識庫中的已知關(guān)系。

第六步是知識融合。因?yàn)橹R抽取來源多樣,不同的來源得到的知識不盡相同,這就對知識融合提出了需求。知識融合需要完成實(shí)體對齊、屬性融合、值規(guī)范化。實(shí)體對齊是識別不同來源的同一實(shí)體。屬性融合是識別同一屬性的不同描述。不同來源的數(shù)據(jù)值通常有不同的格式、不同的單位或者不同的描述形式。比如日期有數(shù)十種表達(dá)方式,這些需要規(guī)范化到統(tǒng)一格式。

最后一步是質(zhì)量控制。知識圖譜的質(zhì)量是構(gòu)建的核心問題。知識圖譜的質(zhì)量可能存在幾個(gè)基本問題:缺漏、錯(cuò)誤、陳舊。先談知識庫的缺漏問題。某種意義上,知識完備對于知識資源建設(shè)而言似乎是個(gè)偽命題,我們總能枚舉出知識庫中缺漏的知識。

知識缺漏對于自動化方法構(gòu)建的知識庫而言尤為嚴(yán)重。但是即便如此,構(gòu)建一個(gè)盡可能全的知識庫仍是任何一個(gè)知識工程的首要目標(biāo)。既然自動化構(gòu)建無法做到完整,補(bǔ)全也就成為了提升知識庫質(zhì)量的重要手段。補(bǔ)全可以是基于預(yù)定義規(guī)則(比如一個(gè)人出生地是中國,我們可以推斷其國籍也可能是中國),也可以從外部互聯(lián)網(wǎng)文本數(shù)據(jù)進(jìn)行補(bǔ)充(比如很多百科圖譜沒有魯迅身高的信息,需要從互聯(lián)網(wǎng)文本尋找答案進(jìn)行補(bǔ)充)。

其次是糾錯(cuò)。自動化知識獲取不可避免地會引入錯(cuò)誤,這就需要糾錯(cuò)。根據(jù)規(guī)則進(jìn)行糾錯(cuò)是基本手段,比如A的妻子是B,但B的老公是C,那么根據(jù)妻子和老公是互逆屬性,我們知道這對事實(shí)可能有錯(cuò)。知識圖譜的結(jié)構(gòu)也可以提供一定的信息幫助推斷錯(cuò)誤關(guān)聯(lián)。比如在由概念和實(shí)例構(gòu)成的Taxonomy中,理想情況下應(yīng)該是個(gè)有向無環(huán)圖,如果其中存在環(huán),那么有可能存在錯(cuò)誤關(guān)聯(lián)。最后一個(gè)質(zhì)量控制的重要問題是知識更新。

更新是一個(gè)具有重大研究價(jià)值,卻未得到充分研究的問題。很多領(lǐng)域都有一定的知識積累。但問題的關(guān)鍵在于這些知識無法實(shí)時(shí)更新。比如電商的商品知識圖譜,往往內(nèi)容陳舊,無法滿足用戶的實(shí)時(shí)消費(fèi)需求(比如“戰(zhàn)狼同款飾品”這類與熱點(diǎn)電影相關(guān)的消費(fèi)需求很難在現(xiàn)有知識庫中涵蓋)。

因此,電商領(lǐng)域的圖譜構(gòu)建要從被動的供給側(cè)構(gòu)建過渡到主動的消費(fèi)側(cè)構(gòu)建,要從管理者視角轉(zhuǎn)變成消費(fèi)者視角。消費(fèi)側(cè)的需求充分體現(xiàn)在搜索日志和購物籃中。面向日志、購物籃的自動知識獲取將成為研究熱點(diǎn)。

經(jīng)歷了上述步驟之后得到一個(gè)初步的領(lǐng)域知識圖譜。在實(shí)際應(yīng)用中會得到不少反饋,這些反饋?zhàn)鳛檩斎脒M(jìn)一步指導(dǎo)上述流程的完善,從而形成閉環(huán)。此外,除了上述自動化構(gòu)建的閉環(huán)流程,還應(yīng)充分考慮人工的干預(yù)。人工補(bǔ)充很多時(shí)候是行之有效的方法。

比如一旦發(fā)現(xiàn)部分知識缺漏或陳舊,可以通過特定的知識編輯工具實(shí)現(xiàn)知識的添加、編輯和修改。也可以利用眾包手段將很多知識獲取任務(wù)分發(fā)下去。如何利用眾包手段進(jìn)行大規(guī)模知識獲取,是個(gè)十分有意思的問題,涉及到知識貢獻(xiàn)的激勵(lì)機(jī)制,我前幾年有個(gè)題為《未來人機(jī)區(qū)分》的報(bào)告,專門討論如何利用知識問答形式的驗(yàn)證碼來做知識獲取,可以百度此文獲取更多信息。

可以看出,整個(gè)領(lǐng)域知識圖譜的構(gòu)建是個(gè)系統(tǒng)工程,流程復(fù)雜,內(nèi)涵豐富,涉及到知識表示、自然語言處理、數(shù)據(jù)庫、數(shù)據(jù)挖掘、眾包等一系列技術(shù)。也正是這個(gè)原因使得知識圖譜落地對很多行業(yè)或者企業(yè)來講都是一個(gè)十分重要的舉措,甚至是戰(zhàn)略性舉措。

領(lǐng)域圖譜的評價(jià)標(biāo)準(zhǔn)是落地過程中常常被問及的問題。總體而言有三個(gè)方面的指標(biāo)應(yīng)該予以充分考慮。第一個(gè)是規(guī)模。前面已經(jīng)指出,絕對完備的知識庫是不存在的,完備只能相對于一些封閉領(lǐng)域而言。因此,規(guī)模一般而言是個(gè)相對指標(biāo)。

關(guān)于規(guī)模問題,在落地過程有兩個(gè)有意思的問題。一是,當(dāng)前知識庫是否足以支撐實(shí)際應(yīng)用,或者多大規(guī)模就夠了?這個(gè)問題沒有絕對答案。我給出的是看實(shí)際應(yīng)用的反饋,也就是知識圖譜上線后的用戶滿意率。比如在利用知識圖譜支撐語義搜索方面,多少查詢能被準(zhǔn)確理解,這個(gè)比率是個(gè)重要的指標(biāo)。

當(dāng)然查詢理解率不僅涉及知識圖譜的覆蓋率也關(guān)系到理解模型的準(zhǔn)確率。因此,在實(shí)際評估中需要客觀對待查詢理解率,不能簡單地將查詢理解率直接等同于圖譜覆蓋率。

第二個(gè)指標(biāo)是質(zhì)量。當(dāng)前AI系統(tǒng)努力避免的一個(gè)事實(shí)就是“Garbage-In-Garbage-Out”。喂給機(jī)器的是錯(cuò)誤知識,就只會導(dǎo)致錯(cuò)誤的應(yīng)用結(jié)果。提升知識圖譜質(zhì)量是知識圖譜構(gòu)建的核心命題。那么知識圖譜質(zhì)量又應(yīng)該從哪些維度進(jìn)行衡量呢?

我想至少有幾個(gè)維度。一是、準(zhǔn)確率。比如是否存在錯(cuò)誤事實(shí),錯(cuò)誤事實(shí)所占比例都是質(zhì)量的直接反映。二是、知識的深度。比如很多知識庫只涵蓋人物這樣的大類,無法細(xì)化到作家、音樂家、運(yùn)動員這些細(xì)分類目(fine-grained concepts)。三是、知識的粒度。粒度越細(xì)應(yīng)用越靈活,應(yīng)用時(shí)精讀越高。細(xì)化知識表示的粒度是領(lǐng)域知識圖譜的構(gòu)建過程中的重要任務(wù)之一。

第三個(gè)方面是實(shí)時(shí)。絕對實(shí)時(shí)是不現(xiàn)實(shí)的,因而實(shí)時(shí)大都從知識的延時(shí)(latency)角度進(jìn)行刻畫。短延時(shí)顯然是我們期望的。知識圖譜的更新是個(gè)復(fù)雜問題,不同的更新策略導(dǎo)致不同的延時(shí)。

一般而言,知識圖譜更新包括被動更新和主動更新兩種方式。實(shí)際應(yīng)用中往往是兩種策略的結(jié)合。被動更新往往采取周期性更新策略,這種策略延時(shí)長,適用于大規(guī)模知識更新。主動更新,往往從需求側(cè)、消費(fèi)側(cè)、應(yīng)用側(cè)出發(fā),主動觸發(fā)相關(guān)知識更新,適用于頭部或者高頻實(shí)體及知識的更新。

領(lǐng)域知識圖譜如何存儲也是大家很關(guān)注的問題。由于知識圖譜本質(zhì)上在表達(dá)關(guān)聯(lián),天然地可以用圖加以建模,因而很多人想到用圖數(shù)據(jù)庫對領(lǐng)域知識圖譜加以存儲。圖數(shù)據(jù)庫的確是知識圖譜存儲選型的重要選擇,但是不是唯一選擇。傳統(tǒng)關(guān)系數(shù)據(jù)庫,近幾年充分發(fā)展的其他類型的NoSQL數(shù)據(jù)庫在很多場景下也是合理選擇。那么數(shù)據(jù)庫的選擇考慮的要素是什么呢?

有兩類重要的選型要素:圖譜的規(guī)模以及操作復(fù)雜度。從圖譜的規(guī)模角度來看,百萬、千萬的節(jié)點(diǎn)和關(guān)系規(guī)模(以及以下規(guī)模)的圖譜對于圖數(shù)據(jù)庫的需求并不強(qiáng)烈,圖數(shù)據(jù)庫的必要性在中等或者小規(guī)模知識圖譜上體現(xiàn)并不充分。但是如果圖譜規(guī)模在數(shù)億節(jié)點(diǎn)規(guī)模以上,圖數(shù)據(jù)庫就十分必要了。

從操作復(fù)雜性來看,圖譜上的操作越是復(fù)雜,圖數(shù)據(jù)庫的必要性越是明顯。圖譜上的全局計(jì)算(比如平均最短路徑的計(jì)算),圖譜上的復(fù)雜遍歷,圖譜上的復(fù)雜子圖查詢等等都涉及圖上的多步遍歷。圖上的多步遍歷操作如果是在關(guān)系數(shù)據(jù)庫上實(shí)現(xiàn)需要多個(gè)聯(lián)結(jié)(Join)操作。多個(gè)聯(lián)結(jié)操作的優(yōu)化一直以來是關(guān)系數(shù)據(jù)庫的難題。圖數(shù)據(jù)庫系統(tǒng)實(shí)現(xiàn)時(shí)針對多步遍歷做了大量優(yōu)化,能夠?qū)崿F(xiàn)高效圖遍歷操作。

除了上述因素之外,還應(yīng)該充分考慮系統(tǒng)的易用性、普及性與成熟度??傮w而言圖數(shù)據(jù)庫還是發(fā)展中的技術(shù),對于復(fù)雜圖數(shù)據(jù)管理系統(tǒng)的優(yōu)化也是只有少部分專業(yè)人員才能從事的工作。在數(shù)據(jù)庫選型時(shí)需要充分考慮這些因素。我們實(shí)驗(yàn)室在實(shí)現(xiàn)CN-DBpedia(2000萬實(shí)體、2.2億關(guān)系)在線服務(wù)系統(tǒng)時(shí)先后采用了Relational DB、Graph DB、MongoDB,最后出于綜合考慮選用的是MongoDB,已經(jīng)穩(wěn)定運(yùn)行了三年,累計(jì)提供10億多次API服務(wù)。

領(lǐng)域知識圖譜如何查詢?通常對于表達(dá)為RDF形式的知識圖譜,可以使用SPARQL查詢語言。SPARQL語言針對RDF數(shù)據(jù)定義了大量的算子,對于推理操作有著很好支撐,因而能夠適應(yīng)領(lǐng)域中的復(fù)雜查詢與復(fù)雜推理。

從應(yīng)用角度來看,也可以將知識圖譜僅僅表達(dá)為無類型的三元組。對于這種輕量級的表示,關(guān)系數(shù)據(jù)庫與傳統(tǒng)NoSQL數(shù)據(jù)庫也是較好選擇。那么此時(shí),SQL語句就是比較好的選擇。SQL十分成熟,語法簡單,用戶眾多且有著幾十年的成功應(yīng)用基礎(chǔ)。很多領(lǐng)域圖譜上的查詢是相對簡單的,以單步或者兩到三步遍歷居多。

此時(shí),SQL完全能夠勝任。但是不排除有一些特定場景,特別是公共安全、風(fēng)控管理等領(lǐng)域,通常需要進(jìn)行復(fù)雜關(guān)聯(lián)分析,需要較長路徑的遍歷,需要開展復(fù)雜子圖挖掘,此時(shí)SQL的表達(dá)能力就顯得相對較弱了。

未來的趨勢是直接利用自然語言進(jìn)行知識圖譜數(shù)據(jù)訪問。但是總體而言這還只是個(gè)比較熱門的研究主題,離成熟還有一定距離。其根本困難在于自然語言的復(fù)雜性,在于自然語言自動化轉(zhuǎn)成形式語言的巨大復(fù)雜性。

但這顯然是有著巨大商業(yè)價(jià)值的問題。數(shù)據(jù)(知識)訪問方法的呆板是制約數(shù)據(jù)(知識)價(jià)值發(fā)揮的重大瓶頸。一旦突破這一瓶頸,數(shù)據(jù)與知識的使用將從傳統(tǒng)的被動式定制獲取變成主動式按需獲取,傳統(tǒng)管理信息系統(tǒng)以及知識管理將面臨全新機(jī)遇。

領(lǐng)域知識圖譜的應(yīng)用落腳點(diǎn)無外乎搜索、推薦、問答、解釋與決策。對于這幾個(gè)應(yīng)用我在《知識圖譜與認(rèn)知智能》一文中有詳細(xì)論述,在此不再贅述。這里補(bǔ)充回答幾個(gè)問題。第一、知識圖譜支撐下的應(yīng)用與沒有知識圖譜特別是與基于機(jī)器學(xué)習(xí)的方案相比有何優(yōu)勢?這是很多應(yīng)用單位會提出的問題。

首先,從宏觀層面來講,通過領(lǐng)域知識圖譜對于領(lǐng)域知識進(jìn)行表達(dá)與沉淀,使得機(jī)器能夠具備領(lǐng)域數(shù)據(jù)認(rèn)知能力。這種能力使得推理和解釋成為可能。推理和解釋是當(dāng)前的機(jī)器學(xué)習(xí)(特別是深度學(xué)習(xí))還難以有效解決的問題。

其次,從具體任務(wù)來看,知識圖譜能顯著提升一些具體任務(wù)的效果。知識圖譜支撐下的搜索相對于傳統(tǒng)搜索,能夠顯著提高召回率,也就是能夠解決“搜的到”的問題;知識圖譜支撐下的推薦相對于傳統(tǒng)推薦,能夠顯著提高推薦的個(gè)性化,也就是能夠解決“推得準(zhǔn)”的問題;知識圖譜支撐下的推薦相對于其他問答方式,能夠顯著提高問答的召回率,特別是需要推理才能回答的問題。

知識圖譜支撐下的決策分析相對于傳統(tǒng)決策,能夠提供決策的可解釋依據(jù),能夠?yàn)闆Q策提供背景知識支持。解釋是知識圖譜的天然使命,因?yàn)槿酥荒芾斫夥栔R,人是解釋的對象。

另一個(gè)更為深刻的問題是相對于機(jī)器學(xué)習(xí),特別是深度學(xué)習(xí),符號化知識對于機(jī)器智能是否必要?一些機(jī)器學(xué)習(xí)專家認(rèn)為,機(jī)器智能只需要數(shù)值表示就可以了,所謂知識也無外乎就是深度神經(jīng)網(wǎng)絡(luò)中足夠抽象層次上的分布式表示,體現(xiàn)為相應(yīng)層次上的網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)。符號知識對于機(jī)器智能是個(gè)偽命題,知識表達(dá)與沉淀對于機(jī)器智能也就無從談起。

深度學(xué)習(xí)頂級專家Hinton也有類似觀點(diǎn)。一定程度上,我贊同這個(gè)觀念。但問題在于,雖然我們身處在大數(shù)據(jù)時(shí)代,但是當(dāng)前的數(shù)據(jù)還不足以讓機(jī)器習(xí)得人類所具有的高度抽象知識。

我們現(xiàn)在的大數(shù)據(jù)大部分還只是應(yīng)用場景下產(chǎn)生的直接數(shù)據(jù),缺乏產(chǎn)生這些數(shù)據(jù)的需求與動機(jī)的背景數(shù)據(jù),缺乏能夠解釋數(shù)據(jù)之所以如此的因果鏈條數(shù)據(jù)。比如我們都知道數(shù)據(jù)挖掘領(lǐng)域的啤酒尿布的例子,意思是說大部分買尿布的人也會同時(shí)買啤酒??墒俏覀儚膩矶疾恢罏槭裁?。事實(shí)上很可能是產(chǎn)婦行動不便,讓爸爸來買尿布,一個(gè)家庭有了新生兒之后,初為人父的爸爸們或多或少比較緊張興奮,因而順帶購買啤酒以緩解壓力。我們現(xiàn)在的數(shù)據(jù)采集還無法延伸到能夠理解統(tǒng)計(jì)規(guī)律背后的因果鏈條的地步。

還有很多數(shù)據(jù)背后是由常識支撐的。比如今年夏天冷飲銷售量增長,是由于天氣炎熱,而天氣炎熱,人們自然會飲用冷飲。這些知識是我們?nèi)巳硕贾赖?,但是機(jī)器無法知道。常識缺失使得機(jī)器無法重建完整的數(shù)據(jù)關(guān)聯(lián)分析鏈條。

所以,大數(shù)據(jù)時(shí)代的“數(shù)據(jù)饑荒”是機(jī)器學(xué)習(xí)無法習(xí)得人類水準(zhǔn)的高層抽象知識的重要原因之一。那么有人也許會爭論說,既然“數(shù)據(jù)饑荒”是根本原因,那么有可能通過增強(qiáng)數(shù)據(jù)采集廣度與力度來消弭這一問題。我個(gè)人認(rèn)為很難。誠然隨著大數(shù)據(jù)日積月累,這一問題或許會得到一定程度上的緩解。 但是常識獲取的困難仍然會對這一問題的解決帶來巨大挑戰(zhàn)。

因此,至少在當(dāng)下一段時(shí)期內(nèi),充分利用符號知識,補(bǔ)齊數(shù)據(jù)驅(qū)動方法的短板應(yīng)該是比較務(wù)實(shí)的思路。但是即便意識到這一點(diǎn),在方法層面我們也仍然捉襟見肘。如何利用符號知識增強(qiáng)統(tǒng)計(jì)學(xué)習(xí)模型仍然是個(gè)具有挑戰(zhàn)性的問題。對于這一問題的具體論述可以參考《當(dāng)知識圖譜“遇見”深度學(xué)習(xí)》一文。

領(lǐng)域知識圖譜落地有哪些最佳實(shí)踐呢?作為一個(gè)工程性學(xué)科,不斷總結(jié)其最佳實(shí)踐是非常有必要的。這里根據(jù)我們落地的幾個(gè)項(xiàng)目分享幾個(gè)最佳實(shí)踐。

第一、應(yīng)用引領(lǐng)。這個(gè)問題在知識圖譜項(xiàng)目周期時(shí),已經(jīng)強(qiáng)調(diào)了。明確應(yīng)用出口對于圖譜的規(guī)劃是非常重要的。第二、避難就簡。在當(dāng)前階段,文本處理仍然面臨不少困難,落地困難重重。即便是一個(gè)簡單的中文分詞任務(wù)仍然需要大量的研究工作,比如“南京市長江大橋”分詞,可以是“南京市+長江大橋”,也可以是“南京市長+江大橋”。

因此,在實(shí)際落地過程中,應(yīng)該綜合考慮各條技術(shù)路徑的難度,優(yōu)先考慮從結(jié)構(gòu)化的數(shù)據(jù)中加以轉(zhuǎn)換,其次是半結(jié)構(gòu)化數(shù)據(jù)(比如帶格式標(biāo)記的各類文本,如XML、百科文本等等),最后才是無結(jié)構(gòu)的自然語言文本。

事實(shí)上,如果能夠綜合考慮各類技術(shù)路徑,融合各類數(shù)據(jù)源,采取一些巧妙的策略可以顯著提升非結(jié)構(gòu)化文本抽取的有效性。比如利用結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)文本進(jìn)行比對,獲取很多高質(zhì)量的關(guān)系描述就是一個(gè)非常有效的策略。

第三、避免從零開始。很多行業(yè)或者企業(yè)在建設(shè)知識圖譜項(xiàng)目時(shí),或多或少已經(jīng)存在很多知識資源,比如領(lǐng)域本體、敘詞表等等,互聯(lián)網(wǎng)上的公開來源也存在不少相關(guān)的百科資源,通用百科圖譜已經(jīng)涵蓋了某個(gè)領(lǐng)域大量的實(shí)體。充分利用這些資源,提高領(lǐng)域知識圖譜構(gòu)建的起點(diǎn),是知識圖譜項(xiàng)目成功落地的一個(gè)關(guān)鍵因素之一。

已經(jīng)存在的這些知識資源很多是消耗了巨大人工成本經(jīng)過多年持續(xù)積累而得到的,充分利用這些知識資源對于領(lǐng)域知識圖譜的構(gòu)建與完善具有重要意義。知識資源建設(shè)有個(gè)很有意思的現(xiàn)象,那就是讓人從無到有的貢獻(xiàn)一條知識的代價(jià)要顯著高于讓人在一個(gè)不那么完善的知識庫上進(jìn)行完善的代價(jià)。因此,盡可能復(fù)用是知識資源建設(shè)的重要策略之一。

最后一條是跨領(lǐng)域遷移。其思路很簡單,如果我們?yōu)橹袊苿幼隽藗€(gè)領(lǐng)域知識圖譜,那么為中國電信建設(shè)圖譜,是不需要從零開始的。相近領(lǐng)域的知識是可以復(fù)用的。這個(gè)原則也意味著知識圖譜落地過程中,將來會涌現(xiàn)出一大批面向特定行業(yè)知識圖譜解決方案的企業(yè)。

領(lǐng)域知識圖譜還存在哪些挑戰(zhàn)?總體上在知識表示、獲取和應(yīng)用等各層面均存在很多挑戰(zhàn)。在知識表示層面,越來越多的領(lǐng)域應(yīng)用不僅僅需要關(guān)聯(lián)事實(shí)這種簡單知識表示,還要表達(dá)包括邏輯規(guī)則、決策過程在內(nèi)的復(fù)雜知識;需要同時(shí)表達(dá)靜態(tài)知識和動態(tài)知識。

單單知識圖譜已經(jīng)不足以解決領(lǐng)域的很多實(shí)際問題。如何去增強(qiáng)知識圖譜的語義表達(dá)能力,如何綜合使用多種知識表示來解決實(shí)際應(yīng)用中的復(fù)雜問題是非常重要的研究課題。第二,在知識獲取方面,領(lǐng)域知識圖譜一般樣本很小,如果需要構(gòu)建抽取模型,那就需要基于小樣本構(gòu)建有效的模型。

目前基于小樣本的機(jī)器學(xué)習(xí)仍然面臨巨大挑戰(zhàn)。解決這一問題的思路之一就是利用知識引導(dǎo)機(jī)器學(xué)習(xí)模型的學(xué)習(xí)過程。具體實(shí)現(xiàn)手段已經(jīng)有不少團(tuán)隊(duì)在開展相關(guān)的探索工作,比如利用知識增強(qiáng)樣本、利用知識構(gòu)建目標(biāo)函數(shù)的正則項(xiàng)以及利用知識構(gòu)建優(yōu)化目標(biāo)的約束等等。

總體而言,這仍然是個(gè)開放問題需要巨大的研究投入。第三,知識的深度應(yīng)用。如何將領(lǐng)域知識圖譜有效應(yīng)用于各類應(yīng)用場景,特別是推薦、搜索、問答之外的應(yīng)用,包括解釋、推理、決策等方面的應(yīng)用仍然面臨巨大挑戰(zhàn),仍然存在很多開放性問題。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 知識圖譜
    +關(guān)注

    關(guān)注

    2

    文章

    132

    瀏覽量

    7665

原文標(biāo)題:復(fù)旦肖仰華:領(lǐng)域知識圖譜落地實(shí)踐中的問題與對策

文章出處:【微信號:rgznai100,微信公眾號:rgznai100】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    三星電子成功收購英國初創(chuàng)公司,致力開發(fā)AI核心技術(shù)

    7月18日,三星電子正式對外宣布了一項(xiàng)重要戰(zhàn)略舉措——成功收購英國新興科技企業(yè)Oxford Semantic Technologies。這家初創(chuàng)公司成立于2017年,專注于前沿的知識圖譜技術(shù)領(lǐng)域,致力于開發(fā)能夠賦能更復(fù)雜AI應(yīng)用的核心技術(shù)。
    的頭像 發(fā)表于 07-18 15:40 ?424次閱讀

    三星電子將收購英國知識圖譜技術(shù)初創(chuàng)企業(yè)

    在人工智能技術(shù)日新月異的今天,三星電子公司再次展現(xiàn)了其前瞻性的戰(zhàn)略布局與技術(shù)創(chuàng)新實(shí)力。近日,三星正式宣布完成了對英國領(lǐng)先的人工智能(AI)與知識圖譜技術(shù)初創(chuàng)企業(yè)Oxford Semantic Technologies的收購,此舉標(biāo)志著三星在提升設(shè)備端AI能力、深化個(gè)性化用戶體驗(yàn)方面邁出了重要一步。
    的頭像 發(fā)表于 07-18 14:46 ?436次閱讀

    Autobots應(yīng)用探索:實(shí)踐中的思考與發(fā)現(xiàn)

    背景 背景1:作為一名測試,日常工作必不可少的幾個(gè)環(huán)節(jié)是查看需求文檔、編寫測試用例、處理線上問題、能力提升等,基于集團(tuán)的https://xxx.jd.com/工具能一次性幫我們把這些事情都做
    的頭像 發(fā)表于 07-16 15:00 ?164次閱讀
    Autobots應(yīng)用探索:<b class='flag-5'>實(shí)踐中</b>的思考與發(fā)現(xiàn)

    知識圖譜與大模型之間的關(guān)系

    在人工智能的廣闊領(lǐng)域中,知識圖譜與大模型是兩個(gè)至關(guān)重要的概念,它們各自擁有獨(dú)特的優(yōu)勢和應(yīng)用場景,同時(shí)又相互補(bǔ)充,共同推動著人工智能技術(shù)的發(fā)展。本文將從定義、特點(diǎn)、應(yīng)用及相互關(guān)系等方面深入探討知識圖譜與大模型之間的關(guān)系。
    的頭像 發(fā)表于 07-10 11:39 ?650次閱讀

    分布式綜合管理平臺在公共安全領(lǐng)域的成功實(shí)踐

    的成功實(shí)踐。 訊維分布式綜合管理平臺通過集成各類公共安全相關(guān)的視頻監(jiān)控、報(bào)警系統(tǒng)、應(yīng)急通信等資源,實(shí)現(xiàn)了對公共安全事件的全面監(jiān)控和快速響應(yīng)。在多個(gè)城市的公共安全實(shí)踐中,該平臺成功助力當(dāng)?shù)毓?、消防、?yīng)急管理等部
    的頭像 發(fā)表于 03-18 16:13 ?244次閱讀

    利用知識圖譜與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動的RAG系統(tǒng)(下)

    對于語言模型(LLM)幻覺,知識圖譜被證明優(yōu)于向量數(shù)據(jù)庫。知識圖譜提供更準(zhǔn)確、多樣化、有趣、邏輯和一致的信息,減少了LLM中出現(xiàn)幻覺的可能性。
    的頭像 發(fā)表于 02-22 14:13 ?955次閱讀
    利用<b class='flag-5'>知識圖譜</b>與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動的RAG系統(tǒng)(下)

    靜電ESD整改實(shí)踐:從基礎(chǔ)到高級的應(yīng)對策略?

    靜電ESD整改實(shí)踐:從基礎(chǔ)到高級的應(yīng)對策略?|深圳比創(chuàng)達(dá)電子EMC
    的頭像 發(fā)表于 02-19 14:41 ?592次閱讀
    靜電ESD整改<b class='flag-5'>實(shí)踐</b>:從基礎(chǔ)到高級的應(yīng)<b class='flag-5'>對策</b>略?

    知識圖譜基礎(chǔ)知識應(yīng)用和學(xué)術(shù)前沿趨勢

    知識圖譜(Knowledge Graph)以結(jié)構(gòu)化的形式描述客觀世界概念、實(shí)體及其關(guān)系。是融合了認(rèn)知計(jì)算、知識表示與推理、信息檢索與抽取、自然語言處理、Web技術(shù)、機(jī)器學(xué)習(xí)與大數(shù)據(jù)挖掘等等方向的交叉學(xué)科。人工智能是以傳統(tǒng)符號派
    的頭像 發(fā)表于 01-08 10:57 ?722次閱讀
    <b class='flag-5'>知識圖譜</b>基礎(chǔ)<b class='flag-5'>知識</b>應(yīng)用和學(xué)術(shù)前沿趨勢

    誠邀報(bào)名|在開發(fā)者大會,洞悉云原生技術(shù)落地最佳實(shí)踐

    共識,被越來越多的行業(yè)用戶落地并深度使用。2023開放原子開發(fā)者大會·云原生技術(shù)前沿落地實(shí)踐分論壇,將于12月16日下午正式開啟。 論壇將聚焦云原生的泛在化、Serverless化以及智能化等前沿發(fā)展趨勢,與一線技術(shù)專家及最終用
    的頭像 發(fā)表于 12-09 18:45 ?548次閱讀

    大模型在代碼缺陷檢測領(lǐng)域的應(yīng)用實(shí)踐

    靜態(tài)代碼掃描(SA)能快速識別代碼缺陷,如空指針訪問、數(shù)組越界等,以較高ROI保障質(zhì)量及提升交付效率。當(dāng)前掃描能力主要依賴人工經(jīng)驗(yàn)生成規(guī)則,泛化能力弱且迭代滯后,導(dǎo)致漏出。本文提出基于代碼知識圖譜
    的頭像 發(fā)表于 11-08 10:27 ?565次閱讀
    大模型在代碼缺陷檢測<b class='flag-5'>領(lǐng)域</b>的應(yīng)用<b class='flag-5'>實(shí)踐</b>

    科研及工程實(shí)踐中光纖涂覆機(jī)詳細(xì)操作步驟(圖文)

    電子發(fā)燒友網(wǎng)站提供《科研及工程實(shí)踐中光纖涂覆機(jī)詳細(xì)操作步驟(圖文).pdf》資料免費(fèi)下載
    發(fā)表于 11-02 15:07 ?0次下載

    知識圖譜與大模型結(jié)合方法概述

    本文作者 |? 黃巍 《Unifying Large Language Models and Knowledge Graphs: A Roadmap》總結(jié)了大語言模型和知識圖譜融合的三種路線:1
    的頭像 發(fā)表于 10-29 15:50 ?849次閱讀
    <b class='flag-5'>知識圖譜</b>與大模型結(jié)合方法概述

    《電子工程師必備——九大系統(tǒng)電路識圖寶典》+附錄5學(xué)習(xí)方法

    真正掌握電子技術(shù)的精髓。你可以通過自己動手做一些小項(xiàng)目,如搭建電路、編程等,來加深對理論知識的理解,提高自己的實(shí)踐能力。 最后,自主學(xué)習(xí)法強(qiáng)調(diào)反思和總結(jié)。學(xué)習(xí)過程難免會遇到挫折和困難,但重要的是學(xué)會
    發(fā)表于 10-06 23:25

    《電子工程師必備——九大系統(tǒng)電路識圖寶典》+附錄3回路分析法

    第2版》附錄3的讀后感:信號回路分析方法——從理論到實(shí)踐的心得體會 在電子與通信領(lǐng)域,信號回路分析是一個(gè)關(guān)鍵的技術(shù)。對于初學(xué)者而言,這個(gè)概念可能有些抽象,但隨著對相關(guān)理論知識的深入學(xué)習(xí)和實(shí)踐
    發(fā)表于 10-06 11:27

    《電子工程師必備——九大系統(tǒng)電路識圖寶典》+附錄4讀后感

    第2版》這本書后給人的整體感覺還是相當(dāng)不錯(cuò)的!在閱讀附錄4的過程,我對電子電路圖的種類和識圖方法有了更深入的了解。電子電路圖在電路設(shè)計(jì)和維修具有非常重要的地位,而掌握各種電路圖的識別方法對于有效地
    發(fā)表于 09-28 13:44