基于大型網(wǎng)站的搜索引擎網(wǎng)頁更新方法研究

大型網(wǎng)站是網(wǎng)絡(luò)信息的核心，其信息規(guī)模之大，更新速度之快是中小型網(wǎng)站不可比擬的，對大型網(wǎng)站網(wǎng)頁搜索的好壞直接影響搜索引擎的整體性能。本文在分析分類網(wǎng)頁更新策略的基礎(chǔ)上，根據(jù)大型網(wǎng)站本身的特點提出了一種增量式信息更新方法。實驗分析表明，這種增量式信息更新方法很大程度上提高了大型網(wǎng)站搜索引擎網(wǎng)頁的更新效率。
關(guān)鍵詞：大型網(wǎng)站；搜索引擎；更新
互聯(lián)網(wǎng)的飛速發(fā)展使網(wǎng)絡(luò)成為人們獲取信息的一個不可或缺的重要來源，基于Internet 的各類信息檢索服務(wù)應(yīng)運而生并得到了迅速發(fā)展，據(jù)統(tǒng)計，搜索已經(jīng)成為第二大網(wǎng)絡(luò)應(yīng)用[1]。網(wǎng)絡(luò)信息的快速增長和網(wǎng)頁動態(tài)變化的特性使因信息更新或網(wǎng)址變動造成的搜索引擎信息缺失日益增加，導(dǎo)致搜索引擎整體性能下降。因此，如何快速有效地對搜索引擎網(wǎng)頁進行更新，保證索引信息的有效性，成為一個重要的研究課題。大型網(wǎng)站是提供網(wǎng)絡(luò)信息的核心，與中小型網(wǎng)站信息相比，大型網(wǎng)站具有信息量大、結(jié)構(gòu)化程度高、時效性強、更新速度快、更新周期不一致等特點。CNNIC 2003 年報告[2]顯示，排名前100 位的大型網(wǎng)站只占網(wǎng)站總數(shù)的1/6000，而網(wǎng)頁總數(shù)和網(wǎng)頁總字節(jié)數(shù)則占到1/10，可見對大型網(wǎng)站搜索的好壞直接影響搜索引擎的整體效果。
本文針對大型網(wǎng)站的特點提出了一種增量式搜索引擎網(wǎng)頁動態(tài)更新方法。該方法根據(jù)大型網(wǎng)站網(wǎng)頁特征對其進行分類，具有相同屬性的網(wǎng)頁組成一個子網(wǎng)站，不同的子網(wǎng)站采用不同的更新機制。對子網(wǎng)站的劃分充分體現(xiàn)了大型網(wǎng)站信息量大、結(jié)構(gòu)化程度高的特點，不同子網(wǎng)站采用不同的更新周期則適應(yīng)了不同類型網(wǎng)頁更新周期不一致的特征。