腾讯个性化推荐系统设计及实现.pdf

《腾讯个性化推荐系统设计及实现.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、腾讯个性化推荐系统设计及实现目录一．推荐简介二．问题分析三．解决之道四．两大平台2推荐系统一直在发展NETFLIX3KDDCup2012byTencenthttp://www.kddcup2012.org/4腾讯精准推荐–视频推荐http://v.qq.com/5腾讯精准推荐–电商推荐http://www.yixun.com/6腾讯精准推荐-广告推荐http://e.qq.com/QQ秀空间个人中心首页空间应用中心7大数据•800mil8亿活跃用户•100bn1000亿用户关系链•100PB数据仓库存储100PB+•……8目录一．推荐简介二．问题

2、分析三．解决之道四．两大平台9推荐中的3P用户推荐ITEM场景10用户•点击数据非常稀疏•大部分用户，一个月内都没有点击•平均1000次曝光，点击1~8•曝光数据偏态(以某个广告位为例)•40%的用户，一天内，曝光=1•80%的用户，一天内，曝光<311ITEM（广告）•素材内容对点击影响很大0.20%8X1.70%12ITEM（广告）•新广告的冷启动•每天新增几十万新广告•没有用户反馈信息•自身信息匮乏13场景（广告位）•上下文较少•没有明显的意图带入•没有固定的页面内容•广告位众多•网页•客户端•手机等14挑战•50ms用户体验，响应时延<5

3、0毫秒•10bn100亿推荐请求•3-9广告生命周期仅有3-9天左右•99%99％以上曝光无点击•1‰FACEBOOK平均点击率小于1‰数据引自http://techcrunch.com/2012/06/19/facebook-mobile-ads/15目录一．推荐简介二．问题分析三．解决之道四．两大平台16解决之道3S数据推荐系统算法17用户画像用户基础属性行为属性人口属性兴趣属性标签细分人群年龄千余种兴趣类目单身人群百万级独立标性别签女装新婚人群地域女饰品苹果女鞋索尼母婴人群学历男装安踏IT产品宝马…上网场景………18ITEM的图像特征•图像

4、特征•亮度•饱和度•色彩度•对比度•尖锐度等•图像相似度•Item_idimg_id19Example–广告图片相似度聚类id：对于同一人群，相似图片CTR接近1711127890547892055广告IDclickimpressionCTR85099898855,5600.16%包含3106个这样的类似广告素材850998011662,0910.19%850991216693,0990.18%20算法－运用之妙知行合一21Example-泰囧的推荐结果用户行为用户分群男性30-35用户分群女性25-29系统-流式计算，实时计算CTRLIFT实

5、时计算提升量数据15分钟提升量12%采集22%1小时效果效果流式评估处理实时计算1小时15分钟实时计算23目录一．推荐简介二．问题分析三．解决之道四．两大平台24核心平台之一：腾讯分布式数据仓库（TDW）基于开源hadoop和hive进行大量优化和改造单集群4400台（业界顶级规模），存储容量100PBIDE关键技术任务统一调度Lhotse集成开发HadoopMaster（NN/JT）节点实现并行扩展，支持灾难时自动热切查询引擎HiveHive&Pig功能丰富，支持传统数据库TDBANK的标准语法，提供可视化集成开发环境数据计算引擎Map

6、Reduce采Lhotse一站式任务管理，每天支撑10集HADOOP万级任务调度，可平行扩展存储引擎HDFS25核心平台之二：实时推荐平台（APOLLO）泛平台支撑，满足腾讯各类个性化推荐需求海量数据在线处理，日推荐请求300亿，实时计算30000亿算法精准，平台高效，毫秒级响应关键技术多种算法模型灵活适配，LR、RDT、SVD等简单高效的扩展能力，数据动态伸缩，上层无感知多副本数据容灾，服务可用度99.995%以上多级缓存技术，有效解决分布式计算的数据CoLocation问题Reference•http://recsys.acm

7、.org/RecSys2013(HongKong)RecSys2012(Dublin)RecSys2011(Chicago)RecSys2010(Barcelona)RecSys2009(NewYork)RecSys2008(Lausanne)RecSys2007(Minnesota)•http://en.wikipedia.org/wiki/Recommender_system27谢谢！谢谢！