基于hadoop的推荐系统设计与实现

《基于hadoop的推荐系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、？八１，单位代码；１０２９３密级：公开為《＾迭Ｘ；；；＇１＂？？考巫＃化硕女化Ａ囑论文题目：基于Ｈａｄｏｏｐ的推荐系统设计与实现＇学号１２１３０４２９２３，、＇姓名直遊，：导师－宫猜Ｖ；，专业学位类别工程硕±’．一—户＾类型令日制－＇乂、：，戈；？扣专业）（领域计算机巧术＇￣Ｉ■＾：论文提交日期２０１６．２’．＇．．．Ｊ（：ｆ－．．．＇．？１？？Ｊ‘！－记．‘

2、，：’兮．一－南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研巧成果。尽我所知，论，除了文中特别加臥标注和致谢的地方外文中不包含其他人已经发表或撰写过的研巧成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。一与我同工作的同志对本研究所做的任何贡献巧己在论文中作了明确的说明并表示了谢意。一。本人学位论文及涉及相关资料若有不实，愿意承担切相关的法律贵任八，杉牛＇Ｓ研究生签名：日期：南京邮电大学学位论文使用授权声明本人授权南京邮电大学可Ｗ保留并向

3、国家有关部口或机构送交论文的复印件和电子文全部或入有被查阅阅；可将学位论文的部分内容编关数据库进行检索；档；允许论文和借保存、汇。可、编学位论文本文电子文档的内容和纸质用影印缩印或扫描等复制手段本Ｗ采一理。。的公（包括刊）授权南邮电大学研究生院办论文的内容相致论文布登京。涉密学位论文在解密后适用本投权书￣、良＾＾Ｗ对研宿日：生签名：廣导师签名；期究言DesignandImplementationofRecommendationSystemBasedonHadoopThesisSubmittedtoNanjingUniversityofP

4、ostsandTelecommunicationsfortheDegreeofMasterofEngineeringByFangXuanSupervisor:Prof.GongJingFebruary2016摘要现在手机上各式各样的软件，每天都在推送着海量的信息，但是信息的质量良莠不齐。如何使用户既能获取到需要的信息，又能避免被信息轰炸所困扰，是推荐系统需要解决的问题。随着数据量的爆炸式增长，传统的推荐系统已经无法满足要求。基于云计算平台的推荐系统能够处理更大的数据量，运行更复杂的推荐算法，当然也能够提供更加强大的推荐服务。本文提出了基于Hadoop的并行化推

5、荐算法H-ICSR（ItemClusteringBasedSocialRecommendationAlgorithmonHadoop）。H-ICSR采用社会化推荐的思想，利用历史评分数据和社交数据产生推荐结果。它使用推荐对象的文本属性资料对推荐对象进行聚类，划分为若干个项目类别；根据用户历史评分，计算用户对不同类别的项目的喜好程度；利用推荐对象的互动数据和历史评分数据建立项目推荐度模型；将用户对项目类别的喜好程度和项目的推荐度结合，预测用户对未知项目的评分，按照预测评分排序，为用户推荐评分最高的项目。对H-ICSR算法做了并行化设计。并行化设计是基于Hadoo

6、p平台的，使用MapReduce分布式计算模型来设计算法程序，将算法分为4个Job，每个Job由若干个MapReduce计算过程组成，这4个Job之间或并行或串行，由JobControl来控制。算法的输入数据、中间结果和输出数据使用HDFS分布文件系统存储。通过实验证明了H-ICSR算法在冷启动和数据稀疏时比其他算法有更好的性能。基于H-ICSR算法实现了系统推荐模块，将推荐模块分为源数据采集层、数据预处理层、推荐生成层和用户接入层。关系型数据库和HDFS之间的数据传输交给源数据采集层，大量的基础计算和建模交给数据预处理层，个性化列表生成交给推荐生成层，推荐结

7、果展示和反馈交给用户接入层。以推荐模块为核心实现了基于Hadoop平台的推荐系统。系统分为Android客户端、Web服务器和Hadoop集群三部分。Android客户端实现和用户的交互，Web服务器实时响应客户端的业务请求，Hadoop集群离线运行H-ICSR推荐算法。对原型系统进行了功能性测试，结果表明该系统具备了较完善的功能，能为用户提供个性化的推荐。关键词:社会化推荐，推荐系统，聚类，并行计算IAbstractToday'ssmartphoneshaveallkindsofsoftware,whichpushvastamountsofinformati

8、ontouseveryday.Nota