阿里大数据应用平台-刘昌钰

《阿里大数据应用平台-刘昌钰》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、阿里大数据应用平台刘昌钰@淘铁燕2013-11-29Agenda•自我介绍•阿里数据平台•大数据应用平台•挑战与未来自我介绍–刘昌钰•阿里巴巴数据平台架构师•擅长大系统架构设计–腾讯TBOSS支付结算平台–财付通业务平台–腾讯海量数仓TDW1.0–淘宝网交易平台–淘数据平台–阿里大数据应用平台•@淘铁燕3Agenda•自我介绍•阿里数据平台•大数据应用平台•挑战与未来使命：数据给力商业•数据平台：数据+云计算•围绕数据的“存通用”，大规模降低数据使用门槛•越关联越有价值，越用越有价值5大数据业务6大数据业务

2、数据业务云梯1云梯2GalaxyGarudaHbaseOceanBaseHadoopODPS飞天计算平台7大数据业务数据业务TCIF地理服务ODS数据服务数据同步数据开发调度生产元数据数据质量应用平台云梯1云梯2GalaxyGarudaHbaseOceanBaseHadoopODPS飞天计算平台8Agenda•自我介绍•阿里数据平台•大数据应用平台•挑战与未来大数据应用平台•数据导入•数据开发•数据生产•数据回流•元数据中心•数据质量中心数据同步系统结构工作流调度对内数据支撑：应用数据同步中心商业智能与决非

3、数据导入策支持结构产品运营分析应化非结构化数据实时计算用数实时流式同步系统运维服据流式数据MySQL务源计算框架结构化数据Cluster中器结实时流式同步间构HBase层对外数据产品:离线数据中化计算框架间数结构化数据件数据披露据离线同步搜索引擎服源务数据产品分布式资源池数据中心日志实时采集TimeTunelBI报表Tailroutermanagermonitordf云梯1业务监控日志fileswbrokerbrokerrithbaseer云梯2量子统计日志Tailbrokerbrokerfile数据魔方b

4、rokerhbasebroker月光宝盒Tailstorm日志brokerbrokerfile生意参谋hbasegalaxybrokerbroker阿拉丁Tail日志filezookeeper阿里金融云计算数据源采集TT数据产品实时计算12TT日志实时采集日采集40T峰值1GB/S结构化数据导入：DataX•统一数据交换协议•插件化开发云梯1MysqlHadoopOracle云梯2ODPS飞天大表的实时增量拉取BI报表Tailroutermanagermonitordf云梯1业务监控file日志swbrok

5、erbrokerrithbaseer云梯2量子统计mysqlbrokerbroker数据魔方brokerhbasebroker月光宝盒oracleDbstormbrokerbrokersync生意参谋hbaseoceangalaxybasebrokerbroker阿拉丁zookeeper阿里金融云计算数据源采集TT数据产品实时计算15大数据应用平台•数据导入•数据开发•数据生产•数据回流•元数据中心•数据质量中心数据开发开发环境隔离浏览器数据开发云集成开发环境（WEBSDK）测试环境集成运维环境设计器/编辑

6、器项目管理自动化测试生命周期管理代码运行调试元数据发布仸务监控持续集成仓库环境中心管理数据质量监控DEVsandboxQAsandboxPRODUCT仸务调度系统仸务调度系统仸务调度系统sandbox图例数据同步数据同步数据同步物理部署接口计算同步计算同步计算同步网关网关网关网关网关网关测试接口计算计算计算运维接口存储存储存储18数据生产（调度）多实例多周期调度日常周期调度实例：2013-11-28•基于数据血缘的DAG调A度BCDEF•日调度、小时调度、月GHIJ调度20调度跨天依赖多实例冲突检测跨天依赖

7、日常周期调度实例：2013-11-27日常周期调度实例：2013-11-28AABCBCDEFDEFGHIJGHIJ21Mosad生产护航22数据开发平台架构同步中心第三方系统用户周边系统开发IDE发布平台代码管理平台平台元数据调度服务调度生命周用引擎DAG管理DAG引擎期管理户运监权维控冷数据执行服务限平资源中心告中台警管理数据地心运行资源管理队列调度引擎图执行执行插件状态管理日志管理代码管理引擎离线计云梯一ODPS流式计Galaxy实时计Garuda算集群算集群算集群数据生产规模•调度仸务数：数万•总j

8、ob数：数十万•总执行总时间：万小时•逻辑存储：百PB日增百TB24大数据应用平台•数据导入•数据开发•数据生产•数据回流•元数据中心•数据质量中心DataX异构数据同步HiveServerOracleTairServerServer•仸意数据源互通MysqlOracleHiveHbaseServerServer•日传输量在MysqlTair20TB同步HBasODPSODPSOBeServer总线Server•