基于隐性反馈的分布式推荐算法设计与实现

《基于隐性反馈的分布式推荐算法设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于隐性反馈的分布式推荐算法设计与实现DesignandImplementationofDistributedRecommendationAlgorithmbasedonImplicitFeedback学科专业：微电子与固体电子学作者姓名：成石指导教师：毛陆虹教授天津大学电气自动化与信息工程学院二零一七年十一月PoweredbyTCPDF(www.tcpdf.org)摘要随着互联网快速发展，信息产生的渠道越来越多，信息产生的速度越来越快，这导致信息整体呈现爆炸式增长。推荐系统根据用户的历史行为信息，挖掘用户的潜在兴趣，快速帮助用户从海量信息中获取其自身所需的信息，其已经成为解决信息过载的

2、有效方法。另外，随着数据量的急剧增大，单一计算单元的计算效率有限，导致推荐过程的实际计算时间过长，成为限制推荐效果的主要瓶颈。因此，海量数据对推荐系统的实现提出了新要求。本文重点研究了处理推荐系统冷启动问题与采用分布式计算解决系统运行效率的问题。本文主要针对只可获得用户对商品的评价，没有用户和商品的上下文信息的情况，解决冷启动难题。大部分已有研究通常先构建用户和商品的静态特征,再采用多臂赌博机策略进行推荐，其缺点是没有深入提取和更新特征，限制了推荐性能。本文提出一种将矩阵分解与多臂赌博机相结合的方法来解决特征提取问题，具体来说，根据用户对商品真实评价与预测评价的误差，使用矩阵分解算法更新

3、用户和商品特征；再对新的特征使用多臂赌博机策略进行商品推荐。本文算法很好地将多臂赌博机策略和矩阵分解算法相结合，有很强的通用性和可扩展性。为提升系统的计算效率，增加其可扩展性，本文使用Spark分布式计算框架将算法进行并行化处理，解决了单一处理单元的计算瓶颈。利用Spark集群，在不同集群节点数的环境下，分别对本文提出的算法进行实验，分析算法的推荐准确度，对比分布式与单机模式的运行效率。实验结果表明，本文提出的算法在累计误差和点击率两个指标上较以往处理冷启动问题的算法有一定提升。同时，采用Spark计算框架实现算法的并行化计算,其结果表明在不降低算法准确性的前提下，可有效提升算法的计算效

4、率。关键词：推荐系统，冷启动，分布式计算，SparkIABSTRACTWiththerapiddevelopmentoftheInternet,moreandmorechannelsofinformationaregeneratedandtheinformationisgeneratedfasterandfaster,whichleadstoanoverallexplosivegrowthofinformation.RecommendationSystemaccordstotheuser'shistoricalbehaviorinformationtominetheuser'spoten

5、tialinterestandquicklyhelpusersgettheinformationtheyneedfromthevastamountofinformation.Ithasbecomeaneffectivewaytosolvetheinformationoverload.Inaddition,astheamountofdatadramaticallyincreases,thecomputationalefficiencyofsinglecomputationalunitislimited.Asaresult,theactualcalculationtimeoftherecom

6、mendationprocessistoolong,whichbecomesamajorbottleneckthatlimitstherecommendationeffect.Therefore,massivedatatakesnewrequirementsfortheimplementationoftherecommendationsystem.Thispaperfocusesontheproblemofdealingwiththecoldstartofrecommendationsystemandthedistributedcomputingtosolvethesystemopera

7、tingefficiency.Weaimtosolvethisprobleminthesituationwherewecanonlyaccesstoasetofratingsofitemsbyusersandnocontextualinformationisavailableneitheraboutusersnoritems.Mostoftheexistingstudiesusuallyconstructstaticfeatures