基于用户画像的大数据挖掘实践

《基于用户画像的大数据挖掘实践》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于用户画像的大数据挖掘实践基于用户画像的大数据挖掘实践?209><>14年<>1<>1月???杨步涛?纲要?<>1?????沃商店定位??2????沃商店大数据体系架构?3????用户画像建设?4????个性化推荐?5????广告?6????用户画像的其他应用实例?沃商店定位?沃商店定位?p????20<>13年中国手机应用分发总量快速上升，其中应用商店的分发量占比超过80%；?p????TOP<>10渠道占总分发量的90%。?p????20<>13年中国手机游戏市场近<>100亿元，20<>14年预计将达到<>18

2、0亿元。??p????多款优质手游月流水超过5000万元。?p????运营商通信账户SDK支持APP应用内付费，提升付费转换率，从不足5%提升至20%以上。?p????话费支付的便捷优势机遇期短暂仅<>1-2年，移动互联网支付的替代转瞬即至。?内容分发?平台?能力开放?平台?游戏运营?平台?3?沃商店大数据架构体系?离线计算数据存储实时离线FTPHDFSMRHIVESqoopFumeNG数据采集数据处理存储层建模站内Ka,aZookeeper?Storm?实时计算?Hbase?MysqlRedis数据可视化Gangli

3、aSparkNagiosOzzie监控管理?调度特征工程?机器学习算法库能力开放应用用户画像/分群流量经分个性化推荐广告分类/回归聚类主题预测Log?ServerCPGGSNBSSDM非结构化?结构化?降维优化PUSH特征工程—用户画像?基本维度性别、年龄、地域、终端、网络、?渠道、机型…兴趣、标签维度商业维度影音、生活、社交、金融、?阅读、儿童亲子…转化、新老用户、频次、?付费次数、ARPU、通信消费、?信用等级语义挖掘行为标注引擎网络爬虫引擎知识库自我学习结构化?沃商店、CP?数据开放?智能推荐?PUSH?流量?广

4、告?经分预测?用户画像非结构化?用户画像—行为标注?结构化数据：?网站-动作-对象(名称、分类、标签)?行为标注引擎?URL?规则库?内容对象?知识库?网页内容爬虫引擎?网站?知识库?URL解析标注?语义特征?抽取?URL字符串?hGp://detail.tmall4>>/item.htm?spm=a230r.<>1.<>14.42.xaurJi&id=38799<>10<>1<>147&abbucket=<>13?????hGp://money.<>163>/<>14/<>1<>107/<>15/AA

5、F5A98J00254IU4.html淘宝-??‐浏览-??‐（雀巢2段，婴幼儿-??‐奶粉，奶粉、雀巢、、）???????网易-??‐浏览-??‐(财经-??‐证券，、、)用户画像—网页文本分类?n????特征预处理、特征筛选(降维)n????支持向量机SVM??>1????结构风险最优化??>1????非线性(核函数、松弛变量)??>1????<>1对<>1方式多分类支持n????评估：准确率、召回率、F<>1算法?准确率(P)?召回率(R)?F<>1?朴素Bayes?85%?86.2%?85.5?SVM?92%?

6、93%?92.4?用户画像—兴趣建模?行为权重时间衰减热度衰减?活跃度衰减?x?x?x?归一化?2Action?[浏览????、?20<>14<>1028]?0.3<>1<>1()Ttα+??>136Action?[下载???彩票、?20<>14<>1027]?0.2<>1632用户画像应用实践?n????个性化推荐n????广告n????信用等级分群n????用户流失预警n????游戏潜在用户群体筛选n????异常监控分析推荐—应用场景?首页推荐应用详情推荐猜你喜欢广告用户粘性转化率个性化推荐—平台架构?特征-??‐

7、内容用户-??‐特征离线???Jacarrd/cosine/CF/content?Base/?FPGrowth/LDA/LR/DT算法库场景在线<>100<>10触点PC无线意图(聚焦、发散)+?画像融合?过滤?排序用户行为（反馈）推荐效果验证A/B?TesUngF<>1?RMSE?AUC??PUSH数据存储中心???Hadoop???Hive???Hbase?Mysql?redis任务调度中心建模内容质量评分索引????model模型规则模型训练相似度User(f<>1,f2,f3,…)内容候选用户行为应用库(类别、

8、标签)语义分析关联计算配置管理监控个性化推荐—算法?Content-??‐BasedItemBased-??‐CFModel-??‐Based稀疏appp?Topic分布?语义分析LDA基于KL距离?推荐语义相关应用?冷启动来源融合新颖推荐精度活跃用户聚类模型Category基于语义相关推荐—应用主题抽取??n????PLSA??