基于hadoop平台的并行数据挖掘算法研究

《基于hadoop平台的并行数据挖掘算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ＴＰ游．分类号：单位代码：１０３６１０《获巧义乂學Ａ誦论文题目：基于Ｈａｄｏｏｐ平台的并行数据挖掘算法妍究作者姓名；张永芳专业名称：计算机科学与技术导师姓名；于碟副教授完成时间—；二〇六年六月论文编号：中图分类号：ＴＰ３９：巧０１０公开学科分类号密级：安徽理王大学硕壬学位论文基于Ｈａｄｏｏｐ平台的并行数据挖掘算法研究作者姓名：张永芳专业名称：计貸化科学与技术研究方向：数据較掘导师姓名：于礫副教授导师单

2、位；安徽理工大学答辩委员会主席：尹玉龙论文答辩日期１６年６月４日：２０安徽理工大学研究生处２０１６年６月６日ＡＤｉｓｓｅｒｔａｔｉｏｎｉｎＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＲｅｓｅａｒｃｈｏｎＰａｒａｌｌｅｌＤａｔａＭｉｎｉｎＡｌｏｒｉｔｈｍＢａｓｅｄｇｇｏｎＨａｄｏｏｐＣａｎｄｉｄａｔｅ：ＺｈａｎＹｏｎｆａｎｇｇｇＳｕｅｒｖｉｓｏｒ：ＹｕＬｉｐＳｃｈｏｏｌｏｆＣｏｍｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｉｎ

3、ｅｅｒｉｎｐｇｇＡｎＨｕｉＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＮｏ．１６８，ＳｈｕｎｇｅｎｇＲｏａｄ，Ｈｕａｉｎａｎ，２３２００１，Ｐ．Ｒ．ＣＨＩＮＡ独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加Ｌ乂标注和致谢的地方レ乂外，论文中不包含其他人己经发表或撰写过的研究成果，也不包含为获得安徽理工大学或其他教育化构的学位或证书而使用过的材料一。与我同工作的同志对本研究所做的任

4、何贡献均己在论文中作了明确的说明并表示谢意。学位论文作者签名：許却日期：年月采日学位论文版权使用授权书本学位论文作者完全了解安徽理工大学有保留、使用学位论文的规定，巧：研究生在校攻读学位期间论文工作的知识产权单位属于安徽理工大学。学校有权保留并向国家有关部口或化拘送交论文的复印件和滋盘，允许论文被查阅和借阅。本人授权安徽理工大学可１＾乂将学位论文的全部或部分内容编入有关数Ｌ、、据库进行检索，可义采用影印缩印或担描等复制手段保存汇编学位论文。（保密的学位论文在解密后适用本

5、授权书）学位论文作者签秦：夺杂為签字曰期：兴乂年月来曰《导师签寺嫂签字曰期：兴／知《月８＾曰摘要摘要由于科学研究、通信技术Ｗ及ＩＴ技术等的迅猛飞速发展，庞大的数据集合由ＧＢ往ＴＢ发展，甚至将来的ＺＢ。云计算凭借其超强的计算能力和可靠的计算能一丝生机力为数据挖掘技术的改进带来了。本文采用Ｈａｄｏｏｐ分布式云计算平台，基于该平台的两大核也技术ＭａｐＲｅｄｕｃｅ和ＨＤＦＳ，，实现数据挖掘算法中分类聚类算法的并行化通过实践论证了基于该平台的分类聚类算法具有良好的加速比、

6、扩展性及分布式运算效果。主要内容如下：１．引入开源分布式计算平台Ｈａｄｏｏｐ，包含它的两大核也技术ＭａｐＲｅｄｕｃｅ和ＨＤＦＳ。详细介绍了ＭａＲｅｄｕｃｅ和ＨＤＦＳ的运行机制及实现原理。给出数据挖掘ｐ技术的概念，介绍数据挖捆算法中的分类聚类算法；并根据现有的知识结合数据挖掘技术的特点分析数据挖掘的发展趋势。２．基于前面的Ｈａｄｏｏｐ理论知识，完成了本文所需的高可靠Ｈａｄｏｏｐ平台的搭建。针对１．０．０之前的Ｈａｄｏｏ乏安全性认证，引入Ｋｅｒｂｅｒｏｓ的安全策略ｐ版本缺；针对ＨＤ

7、ＦＳ的ＮａｍｅＮｏｄｅ、ＭａｐＲｅｄｕｃｅ的ＪｏｂＴｒａｃｋｅｒ的单节点故障问题，使用了ＤＲＢＤ镜像块设备存储技术。最终搭建成功高可靠安全的Ｈａｄｏｏｐ环境。３Ｈａｄｏｏ－ａｎｓ．着重介绍基于ｐ平台实现ＫＭｅ聚类算法的主要思想和实现的代码－Ｍｅａｎｓ聚类算法具有良好；并且通过几组实验，实践说明基于云计算平台的Ｋ的扩展性能和较好的扩展性能。４．详细介绍了基于Ｈａｄｏｏｐ平台的朴素贝叶斯分类算法的主要思想及实现代码；并对ＭａｐＲｅｄｕｃｅ化的朴素贝叶斯算法和改进前的朴素贝叶斯算法比较，分析

8、改进后的分类算法的分布式运算效果。关键词：Ｈａｄｏｏｐ平台；数据挖掘；分类聚类算街脚ＦＳ－－Ｉ摘要ＡｂｓｔｒａｃｔＷｉｔｈｔｈｅｓｅｅｄｙｄｅｖｅｌｏｐｍｅｎｔｏｆｓｃｉｅｎｔｉｆｉｃｒｅｓｅａｒｃｈｃｏｍｍｕｎｉｃａｔｉｏｎｓｔｅｃｈｎｏｌｏｐ，ｇｙａｎｄＩＴｔｅ浊ｎｏｌｏｇｙ，ＢｉｇＤａｔａｓｅｔｓｆｒｏｍＧＢｔｏＴＢ，