網(wǎng)絡(luò)爬蟲的算法

網(wǎng)絡(luò)爬蟲常用到的算法

1、深度優(yōu)先算法

該算法是指網(wǎng)絡(luò)爬蟲會(huì)從選定的一個(gè)超鏈接開始，按照一條線路，一個(gè)一個(gè)鏈接訪問下去，直到達(dá)到這條線路的葉子節(jié)點(diǎn)，即不包含任何超鏈接的HTML文件，處理完這條線路之后再轉(zhuǎn)入下一個(gè)起始頁(yè)，繼續(xù)訪問新的起始頁(yè)面所包含的鏈接中的一條，直到到達(dá)葉子結(jié)點(diǎn)。這個(gè)方法有個(gè)優(yōu)點(diǎn)是網(wǎng)絡(luò)爬蟲在設(shè)計(jì)的時(shí)候比較容易。

2、廣度優(yōu)先算法

廣度優(yōu)先算法是指網(wǎng)絡(luò)爬蟲會(huì)先抓取起始網(wǎng)頁(yè)中包含鏈接的所有網(wǎng)頁(yè)，然后再選擇其中的一個(gè)鏈接網(wǎng)頁(yè)，繼續(xù)抓取在這個(gè)網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)。這種搜索方法是實(shí)現(xiàn)通用網(wǎng)絡(luò)爬蟲的最佳方法，因?yàn)樗奶攸c(diǎn)是易于實(shí)現(xiàn)，并且能夠避免陷進(jìn)一個(gè)無窮盡的深層分支中去，可以讓網(wǎng)絡(luò)爬蟲并行處理，從而提高其抓取速度。

3、啟發(fā)式搜索算法

源于人工智能，即先通過在線獲得的領(lǐng)域知識(shí)評(píng)價(jià)待訪問鏈接的價(jià)值，借以推斷信息資源的分布情況，然后按一定的原則選擇價(jià)值最大的鏈接進(jìn)行下一步的搜索，找到到達(dá)目標(biāo)節(jié)點(diǎn)的最佳路徑，刪除不好節(jié)點(diǎn)，保留那些好的節(jié)點(diǎn)，該算法主要用于主題爬蟲。

網(wǎng)絡(luò)爬蟲的分析算法

爬蟲節(jié)點(diǎn)爬取到的網(wǎng)頁(yè)數(shù)據(jù)會(huì)存放到資源庫(kù)中，資源庫(kù)對(duì)爬取到的數(shù)據(jù)進(jìn)行分析并建立索引，分析算法有以下幾種：

（1）基于用戶行為的分析算法：根據(jù)用戶對(duì)網(wǎng)頁(yè)的訪問頻率、訪問時(shí)長(zhǎng)、點(diǎn)擊率等對(duì)網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行分析。

（2）基于網(wǎng)絡(luò)拓?fù)涞姆治鏊惴ǎ焊鶕?jù)網(wǎng)頁(yè)的外鏈、網(wǎng)頁(yè)的層次、網(wǎng)頁(yè)的等級(jí)等對(duì)網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行分析，計(jì)算出網(wǎng)頁(yè)的權(quán)重，對(duì)網(wǎng)頁(yè)進(jìn)行排名。

（3）基于網(wǎng)頁(yè)內(nèi)容的分析算法：根據(jù)網(wǎng)頁(yè)的外觀、網(wǎng)頁(yè)的文本等內(nèi)容特征對(duì)網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行分析。