基于dom的web信息抽取系统设计与实现

《基于dom的web信息抽取系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华中科技大学硕士学位论文基于DOM的Web信息抽取系统设计与实现姓名：连小刚申请学位级别：硕士专业：软件工程指导教师：刘小峰20090527华中科技大学硕士学位论文摘要Internet的快速发展使Web已经成为人们获取信息的主要途径，但是随着网页数量的激增和无关信息的充斥，使得人们想快速准确地获取自己需要的信息变得十分困难。同时随着“模板+数据库”型网页的大量出现，Internet上出现了被称为“暗藏网”(thehiddenweb)的巨大信息资源库，据估计因特网上80%的内容存在于这种看不见的因特网中，这些网页是搜索引擎的“网络爬虫”抓不到的。加之，Internet上的各个网站的

2、信息相互独立，收集起来十分困难，在这种情况下，通常的搜索引擎发挥的作用微乎其微，而Web信息抽取技术显得十分必要。通过对现有信息抽取技术的总结和分析，结合“模板+数据库”型网页的特点，提出了基于DOM结构，利用XPath表述网页待抽取信息点的位置，用XSLT描述抽取规则的半自动化的抽取方案。并在此基础上，实现了一个抽取规则适用性较强，自动化程度较高的Web信息抽取系统。系统的实现分为样本学习、信息抽取和数据库存储三个阶段来完成。其中学习阶段是系统实现的关键点和难点，在该阶段，通过叶子节点路径获取算法、数据区域获取算法、语义获取算法和路径优化算法的设计与实现，同时利用强大而灵活的XS

3、LT，生成健壮、适应性强的抽取规则文件。在信息抽取阶段，系统利用URL模式匹配和DOM相似性算法，实现待抽取网页和抽取规则文件的自动匹配。同时为了解决自动化和准确度的平衡问题，系统提供操作简单的GUI界面，支持人工的指导训练，经过测试，系统对于“模板+数据库”型网页有较好的抽取效果。关键词：Web信息抽取可扩展标记语言扩展样式表语言文档对象模型I华中科技大学硕士学位论文AbstractWithInternet'srapiddevelopment,Webhasbecomethemainwaytoaccessinformation.Itisbecomingmoredifficlu

4、tforpeopletogetinformationtheyneed,justbecausetheexplosiveandfullofirrelevantinformationpages.Atthesametimeasthe"template+database"typewebpagesincreased,Internethasemergedknownasthe"hiddennetwork",thegreatwarehouseofinformationresources.Itisestimatedthat80%ofInternetcontentexistinthisinvisible

5、Internet,thewebcrawlerofthesearchenginecan’tgraspof.Inaddition,varioussitesonInternetareindependentofeachother,itisverydifficulttobeintegrated.Inthiscase,theusualsearchenginesplayanegligibleroleandWebinformationextractiontechnologyisbecomingverynecessary.Basedonthesummaryandanalysisoftheexisti

6、nginformationextractiontechniques,combinedwiththisdissertationforthe"template+Database"page,thedissertationproposedaresolventbasedonthestructureofDOM,usingXPathexpressionstolocateinformationpoints,usingXSLTtodescribeextractionofrules.Onthisbasis,aWebInformationExtractionSystemwithhigherdegree

7、ofautomationandstrongerapplicabilityextractionruleisdesignedanddeveloped.Thesystemisdividedintostagesoflearning,informationextractionanddatabasestoragetocompletetheIEtask.Stagesoflearningwhichisthekeypoint,thedissertationdesignandimplem