網(wǎng)絡爬蟲的基本工作流程

網(wǎng)絡爬蟲的基本工作流程

通用網(wǎng)絡爬蟲根據(jù)預先設定的一個或若干初始種子URL開始，以此獲得初始網(wǎng)頁上的URL列表，在爬行過程中不斷從URL隊列中獲一個的URL，進而訪問并下載該頁面。頁面下載后頁面解析器去掉頁面上的HTML標記后得到頁面內容，將摘要、URL等信息保存到Web數(shù)據(jù)庫中，同時抽取當前頁面上新的URL，保存到URL隊列，直到滿足系統(tǒng)停止條件。其工作流程如圖1所示。

主題爬蟲工作流程

主題爬蟲需要根據(jù)一定的網(wǎng)頁分析算法，過濾掉與主題無關的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊列。然后，它會根據(jù)一定的搜索策略從待抓取的隊列中選擇下一個要抓取的URL，并重復上述過程，直到滿足系統(tǒng)停止條件為止。所有被抓取網(wǎng)頁都會被系統(tǒng)存儲，經(jīng)過一定的分析、過濾，然后建立索引，以便用戶查詢和檢索；這一過程所得到的分析結果可以對以后的抓取過程提供反饋和指導。其工作流程如圖3所示。

深度網(wǎng)絡爬蟲工作流程

1994年Dr．jillEllsworth提出DeepWeb（深層頁面）的概念，即DeepWeb是指普通搜索引擎難以發(fā)現(xiàn)的信息內容的Web頁面¨。DeepWeb中的信息量比普通的網(wǎng)頁信息量多，而且質量更高。但是普通的搜索引擎由于技術限制而搜集不到這些高質量、高權威的信息。這些信息通常隱藏在深度Web頁面的大型動態(tài)數(shù)據(jù)庫中，涉及數(shù)據(jù)集成、中文語義識別等諸多領域。如此龐大的信息資源如果沒有合理的、高效的方法去獲取，將是巨大的損失。因此，對于深度網(wǎng)爬行技術的研究具有極為重大的現(xiàn)實意義和理論價值。