基于Spark的文本谱聚类算法并行化研究

《基于Spark的文本谱聚类算法并行化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201372763学校代码10487密级____________硕士学位论文基于Spark的文本谱聚类算法并行化研究学位申请人：吴浩学科专业：计算机应用技术指导教师：李瑞轩教授答辩日期：2016年5月24日AThesisSubmittedinFullFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringResearchofParallelTextSpectralClusteringAlgorithmBasedonSparkCandidate:W

2、uHaoMajor:ComputerApplicationTechnologySupervisor:Prof.LiRuixuanHuazhongUniversityofScienceandTechnologyWuhan430074,P.R.ChinaMay,2016独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明

3、的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要随着信息技术的飞速

4、发展，互联网上的数据呈现爆炸式增长，其中大部分数据以文本信息的形式存在。在大数据的时代背景下，面对大规模的文本数据，传统的单机串行式文本聚类算法在存储和计算速度方面存在瓶颈。随着分布式计算框架（如Hadoop，Spark等）的出现，为传统的算法提供了并行化的解决方案。基于图论的谱聚类算法克服了一些传统聚类算法的缺点，能够在任意形状的样本空间得到聚类结果的全局最优解。结合谱聚类算法和分布式计算框架Spark，对大规模的文本数据集用并行化谱聚类算法进行聚类。ApacheSpark是一个通用的并行计算框架，通过内存计算能极大地提

5、高大数据计算的速度。在Spark计算框架上实现基于谱聚类算法的并行化，利用Spark计算平台的可伸缩性和基于内存计算等特点，将谱聚类算法结合Spark计算框架应用在文本聚类中，实现对海量文本数据进行并行处理和文本聚类，使谱聚类算法能够适应数据规模的扩展，并提高文本聚类的性能。相对于传统的聚类方法（如K-Means算法），实验结果显示基于图论