研究者最近仔細(xì)估算了各種知識(shí)圖譜每創(chuàng)建一條記錄所需要的成本

我們知道強(qiáng)大的深度模型需要很多計(jì)算力，那你知道創(chuàng)建一個(gè)知識(shí)圖譜的成本到底是多少嗎？德國(guó) Mannheim 大學(xué)的研究者最近仔細(xì)估算了各種知識(shí)圖譜每創(chuàng)建一條記錄所需要的成本，他們表示對(duì)于大型知識(shí)圖譜，手動(dòng)創(chuàng)建一個(gè)三元組（即一條記錄）的成本在 2 到 6 美元之間，總成本在數(shù)百萬(wàn)到數(shù)十億美元之間。

知識(shí)圖譜廣泛用于各種領(lǐng)域，它的統(tǒng)計(jì)信息也常被分析。但有一個(gè)問(wèn)題一直缺乏研究：產(chǎn)出價(jià)格是多少？在此論文中，研究者提出了一種方法預(yù)估知識(shí)圖譜的成本。他們表示手動(dòng)創(chuàng)建一個(gè)三元組（triple）的成本大約在 2 到 6 美元左右，而自動(dòng)創(chuàng)建知識(shí)圖譜的成本要降低 15 到 250 倍（即一個(gè)三元組 1 美分到 15 美分）。

注意其中 15 美分每條的「自動(dòng)化」知識(shí)圖譜還是需要大量人力進(jìn)行數(shù)據(jù)的驗(yàn)證。此外，作者表示成本也應(yīng)該作為知識(shí)圖譜的評(píng)價(jià)標(biāo)準(zhǔn)，例如可以使用每個(gè)三元組的成本或其他更優(yōu)的度量方法。

論文：How much is a Triple? Estimating the Cost of Knowledge Graph Creation

論文地址：http://ceur-ws.org/Vol-2180/ISWC_2018_Outrageous_Ideas_paper_10.pdf

估計(jì)知識(shí)圖譜的成本

隨著知識(shí)圖譜的廣泛應(yīng)用，我們?cè)絹?lái)越關(guān)注大型知識(shí)圖譜，例如 DBpedia、YAGO 等。我們已經(jīng)有很多方法從各種角度檢查這些大型知識(shí)圖譜，例如大小、覆蓋度和質(zhì)量等。然而這些分析不足的地方在于成本，即創(chuàng)建知識(shí)圖譜的價(jià)格。

人工創(chuàng)建：Cyc 和 Freebase

對(duì)于人工創(chuàng)建的知識(shí)圖譜，我們必須評(píng)估提供這些陳述語(yǔ)句（statement）的工作量，從而估計(jì)平均成本。

Cyc 是最早的通用知識(shí)圖譜之一，同時(shí)它的開(kāi)發(fā)成本也能公開(kāi)獲得。在 2017 年的一項(xiàng)會(huì)議中，Cyc 的創(chuàng)建者 Douglas Lenat 表示：構(gòu)建 Cyc 的成本為 1.2 億美元。在同一個(gè) PPT 中，Lenat 表示 Cyc 一共有 21M 斷言（assertion），因此每條陳述語(yǔ)句或斷言需要 5.71 美元。若 1000 人有一年的時(shí)間完成，則每人每 9.5 分鐘需要完成一條斷言。

Freebase 是由志愿者共同完成的，因此其工作量更難判斷。截止至 2011 年 4 月份，創(chuàng)建英文維基百科的估計(jì)時(shí)長(zhǎng)為 41M 工時(shí)。同時(shí)維基百科包含 3.6M 的頁(yè)面，平均每一個(gè)頁(yè)面 36.4 個(gè)句子，因此換算下來(lái)每一條語(yǔ)句需要 18.7 分鐘。由于大多數(shù)維基百科條目都是由美國(guó)構(gòu)建的，我們可以使用每小時(shí) 7.25 美元的美國(guó)聯(lián)邦最低工資作為人工成本估算，因此每一句的成本可以換算為 2.25 美元。借鑒這個(gè)成本，我們可以假設(shè) Freebase 每一條陳述語(yǔ)句的成本也是 2.25 美元。

這比 Cyc 的平均成本低了一半，這種低成本也是合理的，因?yàn)?Cyc 是由人類專家構(gòu)建的，而 Freebase 由非專業(yè)人員創(chuàng)建?？偟亩裕瑢?duì)于包含 30 億事實(shí)（fact）的最新版 Freebase，它的總成本約為 67.5 億美元（$6.75B）。

自動(dòng)創(chuàng)建： DBpedia、YAGO 和 NELL

評(píng)估自動(dòng)創(chuàng)建知識(shí)圖譜所花費(fèi)成本不同于人工創(chuàng)建知識(shí)圖譜。我們參考了用于創(chuàng)建知識(shí)圖譜的軟件，基于代碼行數(shù)（LOC）來(lái)估計(jì)開(kāi)發(fā)知識(shí)圖譜的成本。我們遵循 [2] 中的分析，即一個(gè)軟件生成項(xiàng)目平均每小時(shí)生產(chǎn) 37 行代碼（LOC）。

DBpedia 主要是基于 DBpedia 提取框架從維基百科 Dump 得到的，它通過(guò)映射中心實(shí)體而創(chuàng)建知識(shí)圖譜。DBpedia 兩部分需要 4.9M 和 2.2M LOC，它需要的總開(kāi)發(fā)成本為 510 萬(wàn)美元。鑒于英語(yǔ) DBpedia[11] 共有 400M 陳述語(yǔ)句，每一條成本約為 1.85 美分。相比于人工搭建的知識(shí)圖譜（每一條 2.25 美元），自動(dòng)搭建的要節(jié)省百倍的成本。

YAGO 也是一種知識(shí)圖譜，它將維基百科提取的知識(shí)與 WordNet[7] 相結(jié)合。為了公平比較，它的成本應(yīng)該包含 WordNet 的搭建費(fèi)用。YAGO 代碼庫(kù)有 1.6M LOC（包括將信息框映射到本體的規(guī)則），因此它的總體成本為 160 萬(wàn)美元。此外，WordNet 本身還包含了 117k 個(gè)同義詞集，每一個(gè)包含一條注釋。我們估計(jì)定義一個(gè)同義詞集的成本與構(gòu)建一個(gè)維基百科頁(yè)面的成本相近，即最高 1000 萬(wàn)美元。若 YAGO 有 14 億條陳述語(yǔ)句 [11]，那么每一條的成本為 0.83 美分。相比人工搭建，它的成本要節(jié)省 250 倍。

NELL 是一個(gè)學(xué)習(xí)關(guān)系抽取 [8] 模式的系統(tǒng)，其核心技術(shù)包含 103k 的 LOC，預(yù)估開(kāi)發(fā)成本為 10.9 萬(wàn)美元。此外，該數(shù)據(jù)集每月還需要人工校驗(yàn) 1467 條陳述語(yǔ)句。假設(shè)人工校驗(yàn)一條陳述語(yǔ)句的成本和創(chuàng)建成本一樣，那么總的校驗(yàn)成本為 37.6 萬(wàn)美元，即通成本為 48.5 美元。因此換算下來(lái)，NELL 每條陳述語(yǔ)句的成本為 14.25 美分，即比手動(dòng)搭建便宜 16 倍。

新的評(píng)估標(biāo)準(zhǔn)

把成本作為創(chuàng)建知識(shí)圖譜的一種測(cè)量方法也能為其他評(píng)估方法鋪平道路。例如，可以通過(guò)成本查驗(yàn)為知識(shí)圖譜補(bǔ)充缺失信息提供新方法 [9]：一個(gè)人一年半開(kāi)發(fā)知識(shí)圖譜應(yīng)該可以添加 2800 條陳述語(yǔ)句，這應(yīng)該是人力手動(dòng)產(chǎn)出的三元組數(shù)量。

另一個(gè)有趣的思路是開(kāi)發(fā)成本與數(shù)據(jù)質(zhì)量之間的關(guān)系。在圖 1 中，我們圖像描述了該論文討論的知識(shí)圖譜中每個(gè)三元組成本與錯(cuò)誤率之間的關(guān)系。我們可以看到，高成本創(chuàng)建的三元組準(zhǔn)確率也會(huì)更高，NELL 是個(gè)例外，準(zhǔn)確率與成本之間關(guān)系極差。

每個(gè)三元組成本與錯(cuò)誤率之間的關(guān)系展示圖。

總結(jié)

在這篇論文中，我們大體估計(jì)了創(chuàng)建一個(gè)流行的知識(shí)圖譜所花費(fèi)的成本，這也是當(dāng)前研究忽視的一個(gè)方面。我們量化了自動(dòng)創(chuàng)建知識(shí)圖譜相比于手動(dòng)方法的收益，并提出使用成本定義新型的評(píng)價(jià)標(biāo)準(zhǔn)，例如權(quán)衡成本與準(zhǔn)確率。

有研究者反饋，我們也意識(shí)到有很多假設(shè)或估計(jì)在計(jì)算中都存在著問(wèn)題（例如，我們沒(méi)有考慮第三方庫(kù)或基礎(chǔ)設(shè)施的成本）。其次，知識(shí)圖譜的來(lái)源或數(shù)據(jù)成本當(dāng)前也沒(méi)有考慮在內(nèi)。然而，我們相信：知識(shí)圖譜自身帶來(lái)的價(jià)值將遠(yuǎn)超過(guò)各種構(gòu)建成本的總和。