淘宝数据分析挖掘实践及变革.pdf

《淘宝数据分析挖掘实践及变革.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、淘宝数据分析挖掘实践及变革毛波2013-04目录•淘宝数据四阶段•系统变迁及平台架构•数据应用格局•新的探索•一些观点淘宝数据四阶段•被动响应–2007年前•主动变革–2008-2010•优化完善–2011-2012•引领驱动–2013-系统变迁及平台架构数据系统变迁2013-2011-2012数据驱动Hadoop集群新模式探索2008-2010DXP公有云Hadoop集群实时Storm调度监控调度监控2007年前实时日志传输实时日志传输数据库(集群)数据门户实时数据库同步脚本多维分析数据门户简单调度自助查询工具

2、数据报表元数据管理数据系统变迁数据•性能量•扩展性技术方案业务资源•运维需求数据平台架构数据数据门户多维自助查询平台在云端接入数据魔方量子恒道OpenAPI应用分布式集群实时计算数Storm据DXP计HiveHbase数据交Ocean冷数据算换平台Base集群…平台调HDFS度监控数DataXDBSyncTT据收集数业务库（Mysql）LogServer……外部数据据源数据应用格局对外数据产品•数据魔方/淘宝指数–行业趋势–人群特征–成交排行–市场细分•量子恒道–销售分析–营销效果–来源分析•搜索排行榜对外数据产

3、品•淘宝时光机–http://me.taobao.com/–回忆的感动•排行榜对外数据产品-淘宝指数对外数据产品-量子恒道数据嵌入产品中•搜索匹配、排序•广告匹配、排序•推荐•商家后台数据•营销效果–直通车、展示广告、淘宝客内部数据服务•淘数据门户–用户分析–商家云图–活动效果分析–例行数据报表•在云端–低门槛接入分布式集群–周活跃用户1000+内部数据服务•多维数据自助查询平台–数据仓库和索引技术结合–随意组合维度–秒级返回•日常数据需求管理–数据接口人数据工具•天网调度•元数据管理•数据地图-定位、血缘分析•

4、DataX异源数据传输•TimeTunnel实时日志传输•监控报警•生命周期管理新的探索•金融服务–小微企业贷款–个人消费贷款•全网精准营销–DMP、DSP、ADExchange、RTB•无线与PC数据打通•数据交换一些观点•数据处理是手段，数据应用是根本•云系统运维能力是核心竞争力•整合关联让数据价值指数级增长•数据可视化很重要•想大做小，迭代优化•关于隐私–隐私和服务的权衡-GPS–控制使用比控制收集更有效–不针对具体个体新浪微博：eNeolithicQA