基于hadoop的电影推荐系统的研究与实现

《基于hadoop的电影推荐系统的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：密级：论文编号：学号：51303320104重庆理工大学硕士学位论文基于Hadoop的电影推荐系统的研究与实现研究生:唐雪指导教师：李波教授学位类型：专业学位专业学位类别：工程硕士（计算机技术领域）研究方向：大数据应用培养单位：计算机科学与工程学院论文完成时间：2016年3月25日论文答辩日期：2016年5月29日軟ａｘ大学学位论文原创性声明’独立进行研究所取得的成果。本人郑重声明：所呈交的学位论文是本人在导师的指导下除文中特别加标注引用的内容外？本论文不包含任何其他个人或集体己经发表或撰写的成，均己在文中Ｗ明确方式标明。果、作品。对本文

2、的研巧做出重要贡献的集体和个人本人承担本声明的法律后果。弯作者签名圆：：吉学位论文使用巧权声明本学位论义作者完全了解学校有关保留、使用学位论文的规定’同意学校保留并向国家有关部口或机构送交论文的复印件和电子版，允许论文被查阅和借间。本人授权重庆理工大、，可■采用影印缩印或扫Ｌ：Ｊ论义的全部或部分内容编入有关数据库进行检索学可ｌ将本学位描等复制手段保存和汇编本学位论文。＂＂本学位论义属于（谓在Ｗ下相应方框内打心）：１，在年解密后适用本授权书。．保密□２．不保密口。如少；各作者签名声＾日期；年月｜日＇导师曰期；批庐＾带

3、曰、CategoryNumber：LevelofSecrecy：SerialNumber：StudentNumber：51303320104Master'sDissertationofChongqingUniversityofTechnologyResearchandimplementationofthemovierecommendersystembasedonHadoopPostgraduate:TangXueSupervisor：ProfessorLiBoDegreeCategory:ProfessionalDegreeSpecialty:MasterofE

4、ngineering(ComputerTechnology)ResearchDirection:BigDataApplicationTrainingUnit:CollegeofComputerScienceandEngineeringThesisDeadline:March25,2016OralDefenseDate:May29,2016摘要摘要随着互联网时代信息技术的迅猛崛起，海量信息铺天盖地的呈现在网络中，人们面临着一个棘手的问题就是信息过载，不能快速发现目标信息。搜索引擎虽能够帮助用户利用关键词检索信息，但是在检索结果过多或者用户目标不明确的情况下，仍不能有效

5、解决，推荐系统被认为是一种更优秀的解决办法，它能够智能地根据用户的历史行为挖掘兴趣模型，从而计算出用户的目标内容，目前已成功应用在各大电商、视频网站等互联网公司。同时本文深入研究了分布式计算开源软件框架Hadoop，采用了MapReduce编程模型和HDFS分布式文件系统实现并改进了协同过滤推荐算法，最后设计并实现了一个基于Hadoop的电影推荐系统原型，主要研究内容如下：1.传统的协同过滤算法仅参考评分数据计算用户或者项目之间的相似度，并未思考其他因素对相似度计算的影响，况且评分数据极端稀疏本身就会影响相似度的计算，因此本文在计算基于用户的协同过滤推荐算法时，首先

6、利用聚类算法将用户按照身份属性建立模型，再对类内用户采用传统基于用户的协同过滤推荐算法；2.在基于项目的协同过滤推荐算法相似度计算中引入了类别相似度的概念，综合考虑评分及项目类别，同时在评分相似度计算中加入共同评分用户数对相似度计算的影响，最后在近邻选取中，采用阈值法结合平均相似度及阈值共同决定目标用户或项目的最近邻居，避免固定值法带来的噪声；3.结合分布式系统解决方案Hadoop，实现基于MapReduce编程模型和HDFS分布式文件系统的改进推荐算法；4.研究分布式集群等实验环境的部署及使用，结合本文设计的改进协同过滤算法及系统需求、流程等，设计并实现了一个基于

7、Hadoop平台的电影推荐系统原型。实验结果表明，改进的协同过滤算法能够明显提高算法的准确度，同时对于大规模数据集，改进的分布式推荐算法执行效率更高。关键词：推荐系统；Hadoop；MapReduce；协同过滤；相似度IABSTRACTABSTRACTWiththerapidriseoftheInternetinformationtechnology,hugeamountsofinformationspreadinthenetwork,andacomplicatedproblempeoplearefacedwithisinformationoverload,re