基于xml的web数据挖掘技术的研究

《基于xml的web数据挖掘技术的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：——UDC：——密级：——编号：——工学硕士学位论文基于XML的Web数据挖掘技术的研究硕士研究生：指导教师：学位级别：学科、专业：所在单位：论文提交日期：论文答辩日期：学位授予单位：薛大伟刘杰教授工学硕士计算机应用技术计算机科学与技术学院2008年2月20日2008年2月29日哈尔滨工程大学哈尔滨工程大学硕+学位论文摘要随着Internet的飞速发展，互联网已成为信息传播与共享的重要资源。由于Web数据半结构化、异构、海量等特点，使得传统的数据挖掘技术不能直接运用到Web数据源上。Web数据挖掘就是从各种格式的Web文档或者Web活动中抽取潜在的、有用的模式。由于XML的结构化、

2、可扩展性等优点，将XML与Web数据挖掘结合起来进行研究也已经成为这个领域的热点。本文首先研究了Web数据抽取技术，提出一种基于扩展DOM树的Web数据抽取方法。在Web页面的DOM树的节点中添加了页面的视觉特征元素和链接特征元素，然后进行节点重复度和新颖度的计算。通过计算多个相似页面之间子树的新颖度，可以自动学习和识别出对象数据并抽取出来，将抽取结果输出为XML文档。其次研究的是XML文档聚类，将XML文档的树形结构转化为一种层次结构，为处于不同层的元素赋予不同的权值。聚类算法计算XML文档与己存在类簇的层次相似度，将XML文档划分到层次相似度最大的聚类中。层次结构反映的是层与层之间的关

3、系，简化了XML文档树形结构，使得计算相似度的时间消耗有所降低。最后，本文通过实验对算法进行验证，并对实验结果进行分析，论述了算法的优点和不足。关键词：Web数据挖掘；Web数据抽取；XML文档聚类；扩展DOM树；层次相似度．哈尔滨丁程大学硕士学位论文AbstractWiththerapiddevelopmentofInteract,theInternethasbecometheimportantresourcesofinformationtransmissionandshare．ThefeaturesofWebdatasuchassemi—structured，heterogeneous

4、andmassmaketraditionaldataminingtechnologyarenotdirectlyappliedtoWebdatasources．Webdataminingmeansthatextractingapotential．usefulmodelfromtheWebdocumentsorWebactivities．BecauseoftheadvantagesasstructuralandexpansibilityofXML，researchonXMLcombinedwithWebdatamininghasalsobecamepopular．Inthisthesis，t

5、heWebdataextractiontechnologyWasresearchedfirstly，aWebdataextractionmethodbasedontheexpandedDOMtreeWasproposed．ThevisualandlinkfeatureswereaddedtothenodesofDOMtree，andthentherepeatdegreeandnoveltydegreeofthenodescouldbecalculated．Bycalculatingthenoveltydegreeofthesubtreebetweenthesimilarpages，obje

6、ctdatacouldbeautomaticallyidentifiedandextracted．TheextractedresultsweresavedasXMLdocuments．Secondly，theXMLdocumentclusteringWasresearched，thetree’SstructureofXMLdocumentWastransferedtoalevelstructure．theelementsatdifferentlayerswereendueddifferentvalue．Theclusteringalgorithmcomputedthelevelsimila

7、ritybetweenaXMLdocumentandexistingclusters，andgroupstheXMLdocumenttotheclusterwithmaximumlevelsimilarity．Therelationshipbetweenlayerswasreflectedinlevelstructure，XMLdocument’StreestructureWaSsimplifiedSOthatmakin