一種新聞關(guān)鍵信息的提取算法

　　針對網(wǎng)頁正文提取算法缺乏通用性，以及對新聞網(wǎng)頁的提取缺乏標題、時間、來源信息的問題，提出一種新聞關(guān)鍵信息的提取算法newsExtractor。該算法首先通過預(yù)處理將網(wǎng)頁轉(zhuǎn)換成行號和文本的集合，然后根據(jù)字數(shù)最長的一句話出現(xiàn)在新聞?wù)牡母怕蕵O高的特點，從正文中間開始向兩端尋找正文的起點和終點提取新聞?wù)?，根?jù)最長公共子串算法提取標題，構(gòu)造正則表達式并以行號輔助判斷提取時間，根據(jù)來源的格式特點并輔以行號提取來源；最后構(gòu)造了數(shù)據(jù)集與國外開源軟件newsPaper進行提取準確率的對比實驗。實驗結(jié)果表明，newsExtractor在正文、標題、時間、來源的平均提取準確率上均優(yōu)于newsPaper，具有通用性和魯棒性。