MapReduce實(shí)現(xiàn)與自定義詞典文件基于hanLP的中文分詞詳解

前言：

文本分類任務(wù)的第1步，就是對(duì)語料進(jìn)行分詞。在單機(jī)模式下，可以選擇python jieba分詞，使用起來較方便。但是如果希望在Hadoop集群上通過mapreduce程序來進(jìn)行分詞，則hanLP更加勝任。

一、使用介紹

hanLP是一個(gè)用java語言開發(fā)的分詞工具， 官網(wǎng)是?http://hanlp.com/?。 hanLP創(chuàng)建者提供了兩種使用方式，一種是portable簡化版本，內(nèi)置了數(shù)據(jù)包以及詞典文件，可通過maven來管理依賴，只要在創(chuàng)建的 maven 工程中加入以下依賴，即可輕松使用（強(qiáng)烈建議大家優(yōu)先采用這種方法）。

具體操作方法如圖示，在pom.xml中，加入上述依賴信息，筆者使用的IDEA編輯器就會(huì)自動(dòng)開始解析依賴關(guān)系，并導(dǎo)入左下角的hanlp jar包。

第二種方法需要自己下載data數(shù)據(jù)文件，并通過一個(gè)配置文件hanlp.properties來管理各種依賴信息，其中最重要的是要人為指定data目錄的家目錄。（不建議大家一上來就使用這種方法，因?yàn)檎嫘姆爆崳。?/span>

二、通過第一種方法，建立maven工程，編寫mapreduce完整程序如下（親測運(yùn)行良好）：

三、添加自定義詞典文件 & 單機(jī)模式

有時(shí)候我們希望根據(jù)自己業(yè)務(wù)領(lǐng)域的一些專有詞匯進(jìn)行分詞，而這些詞匯可能并不包含在官方jar包自帶的分詞詞典中，故而我們希望提供自己的詞典文件。首先，我們定義一個(gè)測試的句子，并用系統(tǒng)默認(rèn)的詞典進(jìn)行分詞，可看到效果如下圖所示：

假如說我們想添加的詞匯較多呢，通過上面的方法，一個(gè)一個(gè) add, 未勉顯得不夠優(yōu)雅，這時(shí)我們就希望通過一個(gè)詞典文件的形式來添加自定義詞匯。在官方網(wǎng)站上，提供了如下一種方法。該方法要求我們單獨(dú)下載一個(gè)data目錄，以及定義一個(gè)配置文件。下面我們就來看下如何操作。

首先，下載好上面的hanlp.jar后，在java工程師導(dǎo)入該包。同時(shí)在src目錄下創(chuàng)建一個(gè)hanlp.properties配置文件，內(nèi)容直接復(fù)制官網(wǎng)上的內(nèi)容，但是注意修改兩個(gè)地方。

其中myDictionary.txt是我們自己創(chuàng)建的一個(gè)詞典文件，其內(nèi)容為：

這時(shí)候，再運(yùn)行方法1同樣的代碼，可看到如下結(jié)果中，也將“詞分”、“自試” c。

注意，如果你不想顯示/n /nr這樣的記性，也可以將上述配置文件中最后一行

ShowTermNature=true

修改為

ShowTermNature=false

注意，這時(shí)候，運(yùn)行成功的話，會(huì)在詞典目錄下生成一個(gè)詞典緩存文件

四、自定義詞典文件 & mapreduce提交

寫到這里，想必細(xì)心的人已經(jīng)想到了，當(dāng)我們希望將編輯好的mapreduce程序打成jar包，提交到集群上運(yùn)行時(shí)，上面這種通過配置文件指定data目錄的方法還可行嗎？ 反正我是沒有搞定。理論上，要么我們需要把data上傳到集群上每個(gè)節(jié)點(diǎn)，要么把data直接打到j(luò)ar包中。但是，這兩種方法本人嘗試都沒有成功。最終，跟一位同事相互討論后，借鑒了對(duì)方的方法。即我們猜想，portable版本自帶了data數(shù)據(jù)，且不需要額外指定配置文件。而我們現(xiàn)在想做的就是添加了一些自定義詞匯，那么，是否我們將其中的詞典緩存文件替換掉，就行了呢？動(dòng)手試下才知道嘛。這次不通過maven來管理依賴，直接下載portable版本的jar包，然后打開壓縮文件，刪除data\dictionary\custom目錄下的CustomDictionary.txt.bin文件，然后將上一步運(yùn)行成功的CustomDictionary.txt.bin粘貼進(jìn)去！ 將工程打成jar包，再通過命令行進(jìn)入其所在目錄，執(zhí)行java -jar ?包名， 發(fā)現(xiàn)可以執(zhí)行成功。然后，為了測試是否對(duì)這個(gè)絕對(duì)路徑有依賴，我們故意將該jar包剪切到 d:\ ， 再執(zhí)行一下，發(fā)現(xiàn)同樣是成功的。

具體到提交到集群上運(yùn)行，我們就不贅述了。這個(gè)方法雖然土一些，但至少是可用的。

文章轉(zhuǎn)載自?a_step_further?的博客（有小幅改遍）

?