智能WEB信息提取系統(tǒng)的研究和設(shè)計(jì)

XML 業(yè)已成為WEB 數(shù)據(jù)發(fā)布與交換的標(biāo)準(zhǔn)，包裝器技術(shù)為數(shù)據(jù)挖掘提供了重要實(shí)
現(xiàn)步驟，智能代理技術(shù)以其智能、代理特性在控制協(xié)調(diào)挖掘上起著重要作用。本文將這三項(xiàng)標(biāo)準(zhǔn)和技術(shù)進(jìn)行有機(jī)結(jié)合，應(yīng)用于WEB 數(shù)據(jù)挖掘上，借助J2EE 三層體系結(jié)構(gòu)思想，給出了智能WEB 信息提取實(shí)現(xiàn)方案，并簡(jiǎn)要闡述了該系統(tǒng)處理用戶挖掘請(qǐng)求的流程，體現(xiàn)了該系統(tǒng)較強(qiáng)的智能理解和概括能力。
隨著Internet 技術(shù)的迅速發(fā)展，網(wǎng)上各種信息呈指數(shù)式增長(zhǎng)，形成了這樣的難堪局面：
一方面，信息量大得驚人；另一方面，人們?yōu)檎业剿璧男畔⒌没ㄉ洗罅康臅r(shí)間和精力。由此看來，對(duì)于海量信息的挖掘提取工作具有重大的意義。
本文提出了一個(gè)能夠從超大數(shù)據(jù)密集型WEB站點(diǎn)自動(dòng)提取數(shù)據(jù)的系統(tǒng)。流行電子商務(wù)、
金融、某些科學(xué)組織協(xié)會(huì)或者新聞娛樂等站點(diǎn)不僅信息量大，而且數(shù)據(jù)更新也特快，。這些站點(diǎn)大都由很多包含復(fù)雜超鏈接的HTML 頁(yè)面構(gòu)成，實(shí)現(xiàn)了完全左鍵操作、所點(diǎn)即所得（這也是當(dāng)前“網(wǎng)絡(luò)桌面環(huán)境”的出發(fā)點(diǎn)），獲取信息相當(dāng)簡(jiǎn)易快捷。但由于WEB 頁(yè)面自身的表示邏輯和網(wǎng)頁(yè)之間復(fù)雜鏈接的緣故，使構(gòu)建基于以上信息源的大型應(yīng)用程序或系統(tǒng)存在很大的技術(shù)難點(diǎn)，那么考慮換種頁(yè)面表示形式能否解決這個(gè)難題呢？
就此問題，最近人們提出了一些解決方案，主要從數(shù)據(jù)挖掘角度取得突破性的進(jìn)展。
經(jīng)過長(zhǎng)期細(xì)致的觀察，發(fā)現(xiàn)當(dāng)前許多WEB 站點(diǎn)包含大量結(jié)構(gòu)非常相似的WEB 頁(yè)面，而且預(yù)測(cè)在將來一段時(shí)間內(nèi)上述站點(diǎn)還會(huì)保持這種結(jié)構(gòu)不變。針對(duì)這種事實(shí)，一些研究人員驗(yàn)證了相關(guān)的技術(shù)，并提出能夠從HTML 頁(yè)面提取數(shù)據(jù)的WEB 包裝器[1,2,3]以及包裝器庫(kù)[4]，即輸入有公共模板的一組WEB 頁(yè)面后，可得到能從前述有公共模板的WEB 頁(yè)面集提取核心數(shù)據(jù)的包裝器。
以上研究成果給本文提供一個(gè)局部解決方案。文章將XML[5,6,8]、包裝器、智能代理
（Agent）[7]三項(xiàng)技術(shù)或標(biāo)準(zhǔn)有機(jī)結(jié)合，并應(yīng)用于數(shù)據(jù)挖掘上，改進(jìn)文[7]的多Agent 聯(lián)合協(xié)作理論，給出了智能提取數(shù)據(jù)實(shí)現(xiàn)方案。