基于云计算数据挖掘技术的研究

《基于云计算数据挖掘技术的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ADissertationSubmittedtoShijiazhuangUniversityofEconomicsFortheAcademicDegreeofMasterResearchaboutDataMiningTechnologiesBasedonCloudComputingCandidate:LiYanSupervisor:QuWenlongAcademicDegreeAppliedfor:MasterSpecialty:ComputerAppliedTechnologySchool/Department:InformationEngineeringShij

2、iazhuangUniversityofEconomicsJune,2012独创性声明本人郑重声明：所呈交的论文是我在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得石家庄经济学院或其他教育机构的学位或证书所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：日期：关于论文使用授权的说明本人完全了解石家庄经济学院有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部

3、分内容，可以采用影印、缩印或其他复制手段保存论文。（保密的论文在解密后应遵守此规定）签名：导师签名：日期：摘要云计算是一种商业计算模型，它将计算任务分布在大量计算机构成的资源池上，能为用户提供按需分配的计算能力、存储能力及应用服务能力；云计算为存储和分析海量数据提供了廉价高效的解决方案。数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取隐藏在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程，对科学研究与商业决策等多个领域起到了指导作用，具有深远的社会和经济意义。数据挖掘由于所需要用到的运算存储量均是巨大的，所以将云计算与数据挖掘相结合

4、可以有效的控制计算成本，提升数据挖掘的效率，突破传统数据挖掘的瓶颈限制。云计算环境下的并行数据挖掘策略的研究具有重要的理论意义和应用价值。Hadoop框架作为目前业界最为有名的开源分布式计算框架，通过采用MapReduce并行化模型，有效的整合现有运算存储能力，提供强大的分布式计算能力，MapReduce也被证实为高效的计算工具。本文主要完成以下工作：1.总结云计算和数据挖掘的相关概念和技术，分析了经典关联规则挖掘算法Apriori算法及其改进算法的优缺点、Hadoop平台和MapReduce编程模型。2.基于以上基础将Apriori算法转化为MapReduce模型

5、，实现Apriori并行化改造，同时采用一些优化方法，提高Apriori算法在Hadoop框架下的表现，最终实现具有高扩展性适合于云计算环境的MapReduce-Apriori算法。3.将算法应用于对某保险公司保单数据集的分析，结果表明，它对海量数据的处理效率明显比传统算法高，且表现出了很好的加速比。关键词：云计算；数据挖掘；关联规则；并行计算IABSTRACTCloudcomputingisabusinesscomputingmodel,itassignsthecomputingtaskstoalargenumberofcomputersintheresource

6、pool,itcanprovideuserswithcomputingpower,storagecapacityandapplicationservicecapabilitiesaccordingtotheirneeds;Cloudcomputingprovidescheapandefficientsolutionsofstoringandanalyzingmassdata.Dataminingistheprocessofdiscoveringinformationorpatternsthatareinteresting,non-trivial,implicit,p

7、reviouslyunknownandpotentiallyusefulinlargedatabases.Dataminingplaysaguidingroleonscientificresearch,businessdecisionsandotherfields,withfar-reachingsocialandeconomicsignificance.Dataminingneedtousehugecomputingandstorageresource,sointegratecloudcomputinganddataminingcaneffectivelyco