阿里云异构计算平台—— 加速ai智能创新-26页

《阿里云异构计算平台—— 加速ai智能创新-26页》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、个性化推荐系统实战与效果提升之道达观数据CTO纪达麒12345开发推荐系统的达观数据推荐系统公司及主讲人简介个性化推荐系统心得体会技术难点解决方案01公司及主讲人简介纪达麒首席技术官达观数据CTO，研发团队总负责人，中国计算机学会（CCF）会员。拥有10年技术团队管理经验，擅长数据挖掘以及实时服务系统架构设计工作。曾担任腾讯文学数据中心高级研究员、盛大文学技术总监、搜狗广告系统高级研发工程师、百度工程师等职务，在中国一线互联网公司中承担个性化推荐系统、在线广告系统等核心技术研发工作。多次承担公司重大紧急项目的架构设计和研发管理工作，所开发的个性化

2、推荐系统曾创造了上线后效果提升300%的记录，所带领的数据挖掘团队获得过盛大集团最佳团队奖荣誉。曾代表公司多次参加国际数据挖掘竞赛，是ACMKDD-Cup，CIKMCompetition等世界一流数据挖掘竞赛获胜队伍的核心成员。达观数据：中国领先的大数据技术服务企业•专注于文本挖掘和搜索推荐技术服务的高科技企业•复旦大学计算机系科研合作单位和校外研究生培养基地•上海市大数据联盟理事单位、上海市计算机学会成员单位•获软银赛富、真格基金、方广资本等著名机构共同投资投资机构合作机构02个性化推荐系统个性化推荐的概念和产品形态个性化推荐是各类内容平台、

3、社交、电商网站集客的重要方式，通过为用户快速准确地提供个性化的内容吸引其兴趣个性化推荐的对象类型各不相同，与客户所在的行业密切相关，既有文章、音视频的推荐，也有社交对象、商品的推荐电商个性化推荐新闻媒体个性化推荐音视频内容个性化推荐企业文书个性化推荐文学网站个性化推荐问答结果个性化推荐金融财经个性化推荐社交网络个性化推荐优秀的个性化推荐系统具备的效果提供优秀的推荐结果提高用户点击率提升实际效果转化通过对用户初始信息和少量点击行为通过为用户提供其感兴趣的内容，提通过为用户推荐有较高吸引力的内容的分析理解，以毫秒为单位迅速建立高用户点击的频率，从而

4、提升用户的，提高用户的注册和付费转化率，提和更新用户模型，完成精准有效个性停留时长和长尾物品的曝光率，并促升黏性，从而促进用户留存，减少用化推荐。进用户的日活和月活。户流失。03开发推荐系统的技术难点技术难点1：如何精准把握用户的兴趣点用户兴趣不仅存在多样性，而且会随着时间的变化而不断有变化，如何对兴趣进行精准把握，并针对性的调整推荐策略是重大难点对用户兴趣的挖掘来自于各种各样的数据，内容数据、行为数据、关系数据，都对推荐结果有影响，需要分别建立算法模型来进行挖掘不同算法模型对用户兴趣的刻画结果不同，如何综合运用不同方法的结果，进行有机的融

5、合技术难点2：冷启动问题导致推荐满意度低对新用户，由于缺少用户行为数据，因此难以生成优质的推荐结果，导致新用户体验差，流失率高对新内容，在推荐时过度依赖内容类别标签，导致无法推荐给合适的用户对新用户和新内容的推荐质量低，导致推荐集中于热门结果，使得“马太效应”愈发严重，长尾内容得不到曝光，影响系统的生态健康技术难点3：推荐结果的单调性和重复性推荐系统很容易出现“回声效应”，即推荐的内容越来越单调，只推荐用户曾经看过的类似内容，导致推荐的结果越来越单调乏味仅依赖内容分类和标签以及简单的推荐规则生成的推荐结果，实践证明会导致推荐结果质量低下

6、，用户点击意愿低大量优质内容无法找到需要的用户，成为沉没资源。而往往低俗或猎奇内容会赢得大量推荐曝光，导致网站调性低下所有用户的浏览内容相同单调刻板，缺乏新颖性技术难点4：•数据量膨胀实际应用时所面临的性能考验•user数量膨胀：登录用户vs未登录用户；usermodel无法全部计算•item量或许非常大，且冷热不均•数据变化快•item生命周期短（例如：短视频结果）•user兴趣变化快，usermodel的更新跟不上变化•服务性能遭遇各种挑战•难以实时完成所有日志的分析并更新模型•分布式计算（Hadoop）的时效性差，无法做到及时更新•存储资

7、源有限，无法保存所有分析结果04达观数据推荐系统解决方案01基于内容的推荐对推荐物品（item）进行信息挖掘采用用户模型刻画用户的偏好并实现个性化推荐•profile：基本属性、类别、标签，etc.•通过用户行为日志挖掘生成usermodel•文本分类、Ontology、标签系统、音视频内容提取等•形式多样，逐步深入：•依赖对item内容的分析深度•useritem1,item2.…itemN•相关技术：CRF，HMM，SVM，GBDT•usertag1,tag2,…tagN02协同过滤（CollaborativeFiltering）简介us

8、er-basedCFitem-basedCF•user-similarity•item-similarity•prediction•pr