基于yarn和spark框架的数据挖掘算法并行研究

《基于yarn和spark框架的数据挖掘算法并行研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于YARN和Spark框架的数据挖掘算法并行研究学科专业计算机技术学位类型□科学学位□√专业学位研究生姓名陈名辉导师姓名、职称王志刚教授论文编号S1601846湖南师范大学学位评定委员会办公室二零一六年三月分类号密级学校代码10542学号201470100640基于YARN和Spark框架的数据挖掘算法并行研究ParallelResearchonDataMiningAlgorithmbasedonYARNandSparkFramework研究生姓名陈名辉指导教师姓名、职称王志刚教授学科专业计算机技术研究方向数据挖掘湖南师范大学学位评定委员会办

2、公室二零一六年三月湖南师巧大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中氏经注明引用的内容外，本论文不含任何其他个人或集体己经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均己在文中Ｗ明确方式标明。本人完全意识到本声明的法律结果由本人承担。－学位论文作者签名弁＜乂（＾６：巧、口＾令乐年月咬日湖南师范大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，研究生在校攻读学位期间论文工作的知识产权单位属湖南师范大学

3、。同意学校保留并向国家有关部口或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湖南师范大学可将本学位论文的全部或部分内容编入有关数据库进行检索，可Ｗ采用影印、绪印或扫描等复制手段保存和汇编本学位论文。作者签名：日期：峰《巧（Ｔｂ？导师签名；：日謁：＾月＾若摘要随着科学技术的飞速发展，互联网应用的深入以及个人电脑、平板、智能手机、智能家居等终端设备的普及，全世界数据总量以飞快的速度递增，我们已经进入了一个大数据的时代。面对如此大规模的海量数据，传统的计算模型（单机模型和传统并行计算模型）已经很难应对，应用而生的分布式

4、计算平台为海量数据的处理提供了一种新的方式。分布式计算平台与传统的并行计算模型相比，它由底层来完成分割数据、任务分配、并行处理和容错等功能，具有易于扩展、学习、使用和部署等特点，是一种简洁抽象的并行编程模型。用户只需要集中注意力解决自己需要的并行计算的任务，而不需要关心细节的并行实现，这大大简化了并行程序的设计。将该模型运用在算法并行化设计中，对于提升算法的执行效率有着较高的现实应用价值。本文利用该模型对聚类分析中DBSCAN算法进行并行化研究，结果如下：（1）提出了一种基于网格单元的数据分网格算法。该算法将每个分区上的数据集划分成以DBSCAN的Eps半

5、径为边长的单元格数据块，这将极快的加速数据集中数据对象查找Eps邻域的速度，这样就不需要在整个分区的所有数据集中查找某个数据对象的Eps邻域，将查找Eps邻域的范围缩小到数据对象的八个相邻单元格之内。实验结果证明这种算法提高了聚类速度，具有较好的加速比和扩展率，在聚类速度上比传统算法更快。（2）提出了一种新的分区聚类合并方法。在充分利用了分布式I计算平台的优点的同时，对数据分区聚类后所带来的聚类合并问题进行了优化，本文采用对各分区边界点再次聚类的方式，比较边界点再次聚类的结果和原聚类结果的区别来合并聚类。此方法只需对边界点进行重新聚类运算就能合并各个分区上

6、的簇，积大的提高了各分区聚类合并的速度。关键词：分布式计算，DBSCAN，Spark，YARN，TachyonIIABSTRACTWiththerapiddevelopmentofscienceandtechnology,thedepthofInternetapplicationsandthepopularizationofpersonalcomputers,tablets,smartphones,smarthomeandotherterminalequipment,theamountofworldwidedataisincreasingatarapidr

7、ate,wehaveenteredaneraofBigData.Facedwithsuchalarge-scalemassdata,thetraditionalmodel(stand-alonemodelandthetraditionalparallelcomputingmodel)hasbeendifficulttodealwithit,anddistributedcomputingplatformemergedattherightmomentprovidesanewwayformassivedataprocessing.Comparedwiththet

8、raditionalmodelofparallelcomputat