基于Hadoop集群的自然語言處理平臺實(shí)現(xiàn)

　　隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，數(shù)據(jù)的智能化處理獲取越來越重要。在自然語言處理領(lǐng)域，大規(guī)模語料庫技術(shù)和其他基于概率統(tǒng)計(jì)的研究方法蓬勃發(fā)展，為自然語言的研究提供了新的思路和工具。各種新模型、新技術(shù)、新應(yīng)用層出不窮，對計(jì)算機(jī)的計(jì)算和存儲能力提出了更高的要求。當(dāng)前流行的一些數(shù)據(jù)密集型的計(jì)算方法，處理過程比較復(fù)雜，處理耗時較長。如對大規(guī)模語料進(jìn)行word2vec模型訓(xùn)練，往往一次就需要數(shù)天時間。傳統(tǒng)的單機(jī)計(jì)算模式，其計(jì)算速度和存儲能力不能滿足大規(guī)模數(shù)據(jù)處理的需求。

　　目前，現(xiàn)有的算法成果主要是各種程序包，一般對應(yīng)某種編程語言，包含一個或多個功能，針對特定領(lǐng)域，具有較高的處理效率和精確度。使用前需要先下載相應(yīng)的工具包，再針對所處理的語言、計(jì)算機(jī)硬件環(huán)境和具體處理需求等進(jìn)行參數(shù)配置。這種方法需要算法使用者維護(hù)數(shù)據(jù)文件和執(zhí)行文件，還要掌握相應(yīng)的編程語言。由于開發(fā)習(xí)慣不盡相同，不同程序包內(nèi)文件組成方式千差萬別，參數(shù)配置過程復(fù)雜且不通用，不便于使用者學(xué)習(xí)掌握，提高了使用的門檻。

　　綜合考慮上述情況，提出建設(shè)自然語言處理平臺的方案。借助Hadoop集群，解決大規(guī)模數(shù)據(jù)存儲的問題，同時提升計(jì)算能力；使用插件式的應(yīng)用開發(fā)棋式，整合改進(jìn)自然語言處理領(lǐng)域的各種成熟算法，縮短了產(chǎn)品開發(fā)周期；實(shí)現(xiàn)友好的交互界面，用戶通過便捷的操作，即可上傳數(shù)據(jù)，調(diào)用算法，得到處理結(jié)果。