面向海量数据的推荐系统的研究.pdf

《面向海量数据的推荐系统的研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、面向海量数据的推荐系统的研究朱叶2015年1月中图分类号：TP393UDC分类号：004.9面向海量数据的推荐系统的研究作者姓名朱叶学院名称计算机学院指导教师宿红毅副教授答辩委员会主席吴威教授申请学位工学硕士学科专业计算机科学与技术学位授予单位北京理工大学论文答辩日期2015年1月TheResearchofRecommendationSystemforBigDataCandidateName：YeZhuSchoolorDepartment:ComputerScienceandTechnologyFacultyMentor:

2、A.Prof.HongyiSuChair，ThesisCommittee：Prof.WeiWuDegreeApplied:MasterofScienceMajor：ComputerScienceandTechnologyDegreeby:BeijingInstituteofTechnologyTheDateofDefence：January，2015研究成果声明本人郑重声明：所提交的学位论文是我本人在指导教师的指导下进行的研究工作获得的研究成果。尽我所知，文中除特别标注和致谢的地方外，学位论文中不包含其他人已经发表或撰写过

3、的研究成果，也不包含为获得北京理工大学或其它教育机构的学位或证书所使用过的材料。与我一同工作的合作者对此研究工作所做的任何贡献均已在学位论文中作了明确的说明并表示了谢意。特此申明。签名：日期：北京理工大学硕士学位论文摘要大数据环境下的电子商务系统，对于有效保留用户，提高系统用户体验的需求更加迫切。随着系统规模的不断扩大和数据获取量的指数级增长，传统推荐系统的冷启动、精确性、扩展性等问题不断严峻化的同时，实时性问题亦成为面向海量数据推荐系统新的瓶颈点。基于分布式系统和网格计算逐渐兴起的云计算，其保存和处理海量数据的强大能力，

4、满足了面向海量数据的推荐系统的需要。如何将传统推荐领域的技术积累并行化或恰当优化，使其适用于大数据环境下的应用系统成为研究趋势。本文首先基于传统推荐领域的主流算法，提出了一个扩展向量推荐模型。根据扩展模型对推荐算法中对象的向量进行合理扩展，然后通过相似度计算等过程动态选取推荐集，完成对目标对象更精确的推荐。将推荐模型应用于三种具体的推荐算法：基于项目的协同过滤推荐算法、Slopeone推荐算法和ALS推荐算法，并基于云计算平台完成优化后算法的MapReduce并行化实现。实验结果表明，与传统协的推荐算法相比，基于新模型的推

5、荐算法可以显著地提升推荐效果，成功克服冷启动问题。多种算法的成功应用，亦说明了新模型的适用性。最后，本文分析了面向海量数据的推荐系统所面临的挑战，即：实时性、精确性、扩展性等问题，设计并实现了面向海量数据的推荐系统。根据实验分析结果，系统采用本文新提出的一种混合推荐算法-基于项目的Slopeone分布式推荐算法，结合Hadoop和GPU通用计算等技术，完整的实现了包括输入模块、推荐模块和输出模块的面向海量数据的推荐系统。关键词：扩展向量推荐模型，协同过滤，Slopeone，ALS-WR，分布式计算I北京理工大学硕士学位论文

6、AbstractWiththedevelopmentofelectroniccommercialaffairs,theresearchtotherecommendationsystemhasbecomeahottopic.Asthetimeforbigdataprocessingiscoming,severalproblemsthattraditionalrecommendationsystemfacedsuchascoldstartup,accuracy,andscalabilityareworsen.Inthemean

7、time,thereal-timeproblemasanewbottlenecktotherecommendationsystemsorientedhugeamountsofdataunderthissevereenvironmentarises.Howtoprovideabetteruserexperienceunderthebigdataenvironmentcontinuestodrivethedevelopmentoftechnique.Withthecombinationofthedistributedsyste

8、mandthegridcomputing,Cloudcomputinghasdeveloped.Thepowerfulcapabilitiesofpreservingandprocessingbigdatameetthedemandoftherecommendersysteminthebigdataer