云计算环境下的协同过滤算法研究与实现

《云计算环境下的协同过滤算法研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ＴＰ３０１公开开．中图分类号：密级：ＵＤＣ：：本校编号續Ｗ义遺乂＃硕±学位论文’＊计算环境下的切、同过滤算法论文题目■：研究与实现映０２１３０６５８研究生姓名学号．：李李玉龙教授学校指导教师姓名：职称：工学硕壬学位计斯４理论申请学位等级：专业：２￣０１６＾４＾２０寒月论文提交日期：论文答辩日期：独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研巧工作和取得的研究成果，论文中不包含其他人已经发表或，除了文中特别加标法和致谢之处外撰写过的研究成果，也不包含获得兰拥巧通大学或其他

2、教育机构的学位或谭书一而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名签字日期：劝／／年月又日屋＾学位论文版权使巧授权书本学位论文作者完全了解兰抽巧通大学有关保留、使用学位论文的规定。特授权兰州巧通大学可Ｗ将学位论文的全部或部分内容编入有关数据库进行检索、汇编Ｗ供查阅和借阅。同意学校，并采用影印、缩巧或扫描等复制手段保存向国家有关部口或机构送交论文的复印件和磁盘。（保密的学位论文在解密后适用本授权说明）学位论文作者签名：导师签名：签字签字曰期年月曰期曰曰年ｆｃ如／

3、／巧Ｈ２＾＾硕士学位论文云计算环境下的协同过滤算法研究与实现ResearchandImplementationofCollaborativeFilteringAlgorithminCloudComputingEnvironment作者姓名：李映学科、专业：计算机软件与理论研究方向：数据挖掘学号：02130658指导教师：李玉龙完成日期：2016.04兰州交通大学LanzhouJiaotongUniversity兰州交通大学硕士学位论文摘要随着互联网时代的发展，大量的信息数据在不断产生。个性化推荐帮助用户从海量数据中筛选出需求的数据，为了使用户获得更好的推荐体验，如何优化推荐就

4、成为推荐领域的研究热点。协同过滤算法是推荐领域中常用的一种技术，它可以方便用户获得较精准的个性化推荐结果。但由于推荐算法的数据稀疏性问题和扩展性问题，导致协同过滤算法的推荐效果不佳以及算法在传统单机上运行困难。所以本文采用在云计算环境里，用一种新的混合推荐算法进行解决。在本文的混合协同过滤算法中，本文对基于内存的协同过滤算法提出改进。首先是相似度的改进，Pearson相关系数是传统协同过滤算法中常用的一种相似度计算方法，但由于该方法存在着这样的一个问题：当共同评分项越小，则Pearson系数反而越大。针对这一问题，本文使用共同评分项目个数与最多的用户评分项目的个数比值，对传统

5、的皮尔逊相关系数进行加权，得到新的相似度计算公式。然后在本文算法中引进参数θ。因在数据稀疏的情况下，最近邻居集中会出现这样一种情况：两用户或项目间的共同评分项很少，且两者中，一个的评分项个数远远大于共同评分项个数。这在推荐算法中，将导致预测出一些多余且不可靠的评分项。所以将共同评分个数与最多的评分项目个数的一个比值θ，作为判断是否为最近邻居。最后本文的混合协同过滤算法框架的设计，将最近邻居个数作为判断，是否把基于项目的推荐结果填充基于用户的预测结果中。此外，本文还实现了混合协同过滤算法分布式化。Hadoop云计算平台是一个能够对大量数据进行分布式处理的软件框架，它具有可靠的、

6、高效的、可伸缩的特点。该Hadoop云计算平台完全可以支撑推荐算法对海量数据的计算需求。但Hadoop的MapReduce编程模型不同于以往其他的编程形式。所以本文将算法的分布式实现分解成一系列的MapReduce过程，具体分为数据集的预处理模块、基于用户的算法模块和基于项目的算法模块3部分。通过模块的整合更好地实现混合协同过滤算法分布式化。为了验证算法的推荐效果，本文将Grouplen提供的Movielens数据集和Netflix提供的竞赛数据集做为实验数据，并且使用平均绝对误差、准确率和覆盖率3种评价标准作为综合指标。通过实验数据，从准确性和个性化两个方面，证明了该混合算

7、法相比于传统协同过滤算法有更好的效果。关键词：协同过滤算法；云计算；Hadoop；相似度；分布式化论文类型：应用研究-I-云计算环境下的协同过滤算法研究与实现AbstractWiththedevelopmentoftheInternet,alargenumberofinformationdataareproduced.Personalizedrecommendationhelpsuserstofilteroutthedemanddatafromthemassdata.Inordertomaketheus