基于视觉的数据密集型网页信息抽取

《基于视觉的数据密集型网页信息抽取》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、南京大学申请硕士学位论文基于视觉的数据密集型网页信息抽取作者：张文东研究方向：信息检索指导教师：袁春风教授2010年5月㈣Vision-basedData．intensiveWbbInformationExtractionPresentedByZhangWendongSupervisedbyProf．YuanChunfengSUBMITTEDTOTHEDEPARTMENTOFCOMPUTERSCIENCEANDTECHNOLOGYOFNANJINGUNIVERSITYINCANDIDACYFORTHEDEGREEOFMASTERMay2010声明本人

2、≯i明所呈交的论文是我个人在导师指导下、在南京大学及导!『iIj提供的研究环境下，作为导帅领导的项目组项目整体的组成部分而完成的研究上作及取得的研究成果。就我所知，除了文cfl特别加以标注和致谢的地方外，论文中4i包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已存论文中作了明确的说明并表示了谢意。南京大学及导师所有权保留：送交论文的复印件，允许论文被查阅和借阅；公布论文的全部或部分内容；可以采用影印、缩印或其它复制手段保存该论文。学生签名：导师签名：畚私氦分私氦日期：日期：沙㈦广．2-0DeclarationImak

3、eadeclarationherethatthethesissubmittediscomposedoftheresearchingworkbymyselfanditscorrespondingresearchingresultsfinishedasaconstituentpartofthewholeprojectintheprojectteamleadedbymyadvisor．Thethesisiscompletedwiththeguidanceofmyadvisor,andundertheresearchingcircIm_lSta】【lceso

4、fferedbyNan]ingUniversityandmyadvisor(includingtheprojectsupportindicatedatthebeginningofthearticle)．AsIknow,thethesisdoesnotincludeotherpeople’Sresearchingresultseverpublishedorcomposed,exceptthatarespeciallyannotatedandacknowledgedsomewhereinthearticle．Anycontributionmadetoth

5、eresearchbymyworkingpartnersisdeclaredexplicitlyandacknowledgedinthethesis．NanjingUniversityandtheadvisorretainthecopyrightasfollows：submittingthecopiesofthethesis，allowingthethesistobeconsultedandborrowed；publicizingthewholeorpartofthethesis’content；keepingthethesisbyphotocopy

6、,microcopyorothercopymethods，AuthorSignature：AdvisorSignature：Date：Date摘要随着Interact的飞速发展，特别是DeepWeb(暗网)的发展，Web信息资源越来越丰富。网上出现了大量数据质量较高、领域性较强的信息，但是能够快速、准确地获取这些信息的途径却比较有限，自动Web信息抽取成为一‘项必要的工作。本文主要对数据密集型页面进行信息抽取工作，并提出一套基于视觉的数据区域检测和数据记录检测算法。Web信息抽取由于受到文本抽取的影响，长期以来的做法是利用HTML源码进行文本分析，或

7、者利用页面的DOM结构来抽取一些页面规则。这类方法往往涉及到文本语义，技术难点较多。微软在“基于视觉的页面分块”(VIPS)中提出了利用视觉信息进行Web信息抽取，并指出了视觉信息更能够准确的反映页面结构信息。VIPS算法的对象是普通Web页面，算法中使用了大量的启发式规则。本文利用视觉信息对数据密集型页面进行信息抽取工作，解决了基于DOM结构技术中的两个难点：(1)一条数据记录中的DOM节点在DOM树上是不连续的。(2)节点相似度计算方法复杂，通常利用字符串编辑距离，但阈值的选择会受到不同页面结构的影响。本文处理的数据密集型页面中含有多条数据记录，

8、利用重复模式检测算法，可以减少VIPS算法中对启发式规则的依赖。本文的主要工作可以概括为以下几个方面：(1)