资源描述:
《基于web服务的分布式数据挖掘系统研究》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、华中科技大学硕士学位论文基于Web服务的分布式数据挖掘系统研究姓名:侯敬军申请学位级别:硕士专业:水利水电工程指导教师:曾致远20040501摘要由于以下原因原有的集中式数据挖掘越来越不适应新的需求1待处理的数据源是分布式存放在网络的不同主机上的2于网络带宽的限制数据的私有性和安全性系统的不兼容性等原因把所有数据源集到一个集中的地方如数据仓库进行集中数据挖掘往往是不现实的 3对挖掘系统的开放性和易用性的要求越来越高分布式数据挖掘技术就是为了解决上述问题而被提出的目前该研究领域的两个重要问题式设计合适的分布式数据挖掘系
2、统的体系结构和相应的分布式挖掘算法本文将最新的分布式组件技术解决上述两个问题方面做了一些尝试Web服务技术引入分布式数据挖掘领域在首先介绍了分布式数据挖掘产生的背景研究现状和成果存在的问题以及关联规则挖掘的不同算法接着介绍了Web服务及其相关技以及Web服务技术的优点和其适用场合给出了Web服务技术与分布式数据挖掘的结合点然后提出了一种跨平台的易扩展的适用于分布环境下的基于Web服务的分布式数据挖掘系统架构并结合上述系统的特点给出一个该系统中的分布式关联规则挖掘算法FDM-GS(FDMwithglobalsite
3、)该算法应用了新的候选集剪枝策略可有效减小候选集的规模和收集候选集支持计数时的网络信息流量了详细的说明并结合一个实例对该算法做关键词数据挖掘关联规则分布式计算组件技术Web服务IVAbstractForthefollowingreasons,theoriginalcentralizeddataminingbecamemoreandmoreoutofdate:1.Thedatasourceneedtobeprocessedisdistributedonthedifferentcomputersinthenetworks.2.F
4、ortheconstrainofnetworksband,theprivacyandsafetyofdata,theincompatibilityofsystems,etc,itisnotrealistictoputalldatasourceinaplace(forexample,thedatawarehouse)forcentralizeddatamining.3.Moreandmoredemandshaveaddressedontheopennessandeasyaccessibility.Thedistributeddata
5、miningtechnologywaspresentedfortheproblemsmentionedabove.Presently,thetwoimportantmattersinthisfieldarethat,designforsuitablearchitectureofdistributeddataminingsystemsandcorrespondingdistributedminingalgorithms.Thisarticleintroducedthelatesttechnologyfordistributedcom
6、ponenttechnology—Webservicestechnologyintodistributeddataminingfield,andtooksometentativeeffortsinsolvingtheaforementionedtwoproblems.Inthebeginning,thebackgroundforbringingdistributeddatamining,thestatusofresearchandresearchachievements,theexistingproblems,andalgorit
7、hmforassociationruleswereintroduced.Andthen,thewebservicesandrelatedtechnology,andtheadvantagesanddisadvantagesofwebservicetechnologywereintroduced,andtheconnectingpointforwebservicetechnologyanddistributeddatamining.Andthenamulti-platform,easy-extensible,suitableford
8、istributedenvironmentandweb-basedservicesdistributedassociationruleminingalgorithmFDM-GS(FDMwithglobalsite)wereproposed.This