deep web数据抽取及集成技术研究

《deep web数据抽取及集成技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、苏州大学硕士学位论文DeepWeb数据抽取及集成技术研究姓名：刘桂峰申请学位级别：硕士专业：计算机应用技术指导教师：崔志明20090501DeepWeb数据抽取及集成技术研究中文摘要随着万维网技术和数据库技术的结合，网络开始迅速的深化。大量的信息都隐藏在Web数据库中，用户通过查询可以动态的获取这些信息，学者们将这类资源称为Web。由于．DeepWeb资源分布在各个DeepWeb站点，使用起来较为不便，因此，面向DeepWeb的数据集成系统便应运而生。本文对DeepWeb领域的数据抽取及集成技术进行了研究，并提出了相关的算法和解决方案，最后设计了一

2、个面向DeepWeb的搜索引擎原型系统。本文的主要研究工作如下：(1)将Web数据对象从查询结果页面中抽取出来是DeepWeb数据集成的第一步，本文基于文档对象模型，通过页面预处理、抽取候选Web数据对象集、去除非Web数据对象三个阶段提出了一种自动抽出Web数据对象的方法。(2)提出了一种对模式异构的Web数据对象进行集成的方法。该方法以向量空间模型为基础，以聚类为手段对来自不同DeepWeb站点的异构Wreb数据对象进行了集成，并以区分度为基础，以相似度为度量手段检测出了重复的Web数据对象，实现了Wreb数据对象的去重。(3)分析了海量数据的

3、组织方法对查询响应速度的影响，在此基础上提出了一种对海量Web数据对象进行组织的方法。该方法通过递增聚类使Web数据对象根据自身的特征自然的聚集在一起，形成一个科学的类别层次，为查询的快速响应奠定基础。(4)在上述研究的基础上设计了一个面向DeepWeb的搜索引擎原型系统。本文还对文中提出的方法和技术进行了实验，结果表明本文提出的方法技术是可行有效的。关键词：DeepWeb，数据集成，数据抽取，聚类，搜索引擎作者：刘桂峰指导老师：崔志明(教授)AbstractWiththedevelopmentoftheWorldWideWebandDatabas

4、etechnology,Internetisdeepeningrapidly．LargeamountofinformationarehiddeninWebDatabases，whicharecalledDeepWeb．Userscallgetthemdynamiclybysubmiuingqueriestoqueryforms．BecauseDeepWebresourcesdistributeinmanydifferentDeepWebsites，SOitisnotconvenienttogetinformationfromDeepWeb．Ther

5、efor,manyresearchersandcompanieshadbeenresearchinghowtointegrateDeepWebresourcesintoonesystem．ThisthesisresearchesonDeepWeborienteddataextractionandintegrationtechnology，proposescorrespondingalgorithmsandsolutions，andthendesignsaDeepWeborientedprototypesearchengineinthelastmai

6、nsection．Themainworkofthisthesisissummarizedasfollowings：(1)ExtractingWebDataObjectsfromresultpagesofqueriesisthefirststepofDeepWebintegration．ThisthesisproposesallautomaticmethodofWebDataObjectextractionbasedonDOM，whichidentifiestheDataRegionsandWebDataObjectsbyfollowingsteps

7、：preprocessingtheHTMLpages，extractingcandidatewebdataobjectset，andrevomingobjectswhicharenotwebdataobjectfromtheset，thenWebDataObjectsCanbeextractedfromtheresultHTMLpages．(2)ProposesamethodofintegratingheterogeneousWebDataObjectswhichaleextractedfromdifferentDeepWebsites．Thism

8、ethodisbasedonvectorspacemodel．ItWasdesignedtointegratehetero