基于mapreduce的分布式关联规则挖掘算法研究

《基于mapreduce的分布式关联规则挖掘算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：密级：UDC：编号：专业硕士学位论文（工程硕士）基于MapReduce的分布式关联规则挖掘算法研究硕士研究生：范燕燕指导教师：董红斌教授企业导师：潘悦研究员工程领域：计算机技术论文主审人：吴良杰教授哈尔滨工程大学2013年5月分类号：密级：UDC：编号：专业硕士学位论文（工程硕士）基于MapReduce的分布式关联规则挖掘算法研究硕士研究生：范燕燕指导教师：董红斌教授学位级别：工程硕士学科、专业：计算机技术所在单位：计算机科学与技术学院论文提交日期：2013年5月论文答辩日期：2013年6月学位授予单位：哈尔滨工程大学ClassifiedIndex:U.D.C:ADisser

2、tationfortheProfessionalDegreeofMaster（MasterofEngineering）ResearchonDistributedMiningofAssociationrulesalgorithmbasedonMapReduceCandidate:FanYanyanSupervisor:Prof.DongHongbinAcademicDegreeAppliedfor:MasterofEngineeringSpecialty:ComputerApplicationTechnologyDateofSubmission:May,2013DateofOralEx

3、amination:Jun,2013University:HarbinEngineeringUniversity哈尔滨工程大学学位论文原创性声明本人郑重声明：本论文的所有工作，是在导师的指导下，由作者本人独立完成的。有关观点、方法、数据和文献的引用已在文中指出，并与参考文献相对应。除文中已注明引用的内容外，本论文不包含任何其他个人或集体已经公开发表的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。作者（签字）：日期：年月日哈尔滨工程大学学位论文授权使用声明本人完全了解学校保护知识产权的有关规定，即研究生在校攻读学位期

4、间论文工作的知识产权属于哈尔滨工程大学。哈尔滨工程大学有权保留并向国家有关部门或机构送交论文的复印件。本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本学位论文，可以公布论文的全部内容。同时本人保证毕业后结合学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈尔滨工程大学。涉密学位论文待解密后适用本声明。本论文（□在授予学位后即可□在授予学位12个月后□解密后）由哈尔滨工程大学送交有关部门进行保存、汇编等。作者（签字）：导师（签字）：日期：年月日年月日基于MapReduce的分布式关联规则挖掘算法研究摘要在数据挖掘的研

5、究范畴中，关联规则挖掘算法是至关重要的一个分支。关联规则算法因其目的明确、实现灵活、求解方便有效、应用范围广泛等特点成为挖掘数据深层价值的重要手段。它的应用在互联网飞速发展的今天拥有更加突出研究意义。信息化迅速加快的今天，数据呈现出爆炸式的增长，此刻，分布式关联规则算法有了更广阔的发展空间。本文先分析了传统的关联规则算法，随后着重研究了分布式条件下的关联规则算法。论文采用目前较为成熟的Hadoop分布式平台，对分布式关联规则算法的改进提出了全新的思路。针对目前基于MapReduce分布式关联规则算法的不足首先引入了全局剪枝策略，提高了算法效率。然后运用频繁矩阵存储的方式减少了内存的消

6、耗。首先，在全面了解关联规则算法背景和研究现状之后，针对现有算法无法处理大规模数据以及分布式数据的缺点，应用Hadoop平台实现对规则和知识的发现的过程。应用MapReduce计算模型可以有效地解决数据分块处理运用多台计算机协同处理海量数据的问题。使得以前难以解决的问题变得简单。其次，针对现有的MapReduce关联规则算法，提出了大规模数据分布式处理的MPAOR(MapAprioriOneReduceAlgorithm)算法，本算法在实现了已有的MPAriori(MapReduceAprioriAlgorithm)算法的基础上加入了全局剪枝的技术，使得计算频繁项集的计数量再一次减少

7、，同时论文把频繁矩阵的存储方式加入到分布式关联规则算法中，提出了MapReduce计算模型的频繁矩阵存储的MFMDAP(MapFrequentmatrixDistributedAprioriAlgorithm)算法。实验表明论文提出的算法提高了算法的效率，并且节省了内存的使用量，这有利于大粒度数据的计算和存储。在实验中验证了算法的有效性。最后，对全局剪枝的分布式频繁项集算法（MPAOR）和基于频繁矩阵的算法（MFMDAP）的优点和不足进行说明，总结了论文研