游戏大数据平台工作流引擎研究与实践.pdf

《游戏大数据平台工作流引擎研究与实践.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、一。

2、一一--·

3、譬奠≮，t0一‘

4、?。一．，：运营技术广角游戏大数据平台工作流引擎研究与实践陈杰’，武娟。苏洋’，唐勇’(1．炫彩互动网络科技有限公司，江苏南京210029；2．中国电信股份有限公司广州研究院，广东广州510630)摘要：随着业务人员对数据分析的需求不断增加，基于开源Hadoop的游戏大数据平台运行着越来越多相互依赖的作业任务。为了更加高效地完成作业管理和调度，升级了Zeus构建工作流引擎，优化Zeus任务启动过程，实现了多线程启动任务，缩短了启动时间。通过扩展Zeus系统，使其支持Oracle存储过程。同时

5、，利用管道技术。实现了异构数据源的无缝高效共享和传输。关键词：大数据作业；工作流；开源中图分类号：11P311文献标识码：Adoi：10．119590．issn．1000——0801．2016080ResearchandpracticeonworkingflowengineofbigdataplatformforgamingserviceCHENJie，WUJuan，SUYang，TANGYong1．DazzleInteractiveNetworkTechnologies，Nanjing210029，China2．Guangz

6、houResearchInstituteofChinaTelecomCo．，Ltd．，Guangzhou510630，ChinaAbstract：ThebigdataplatformforgamingserviceisbasedonHadoopopensourcetechnology．Withthedemandgrowthoftheserviceoperationstaf，therearemoreandmorejobswhichdependoneachotherrunningonthebigdataplatform．Aneww

7、orkingflowenginewasdevelopedonZeustomanageandschedulejobseficiently．Inordertoshortenthestarttime，Zeustaskstartingprocesswasoptimizedandmulti—threadedstarttaskwasachieved．ZeuswasalsoimprovedtosupporttheOraclestoredprocedure．Pipelinetechnologywasusedtoseamlessandeffic

8、ientsharingandtransmissionofheterogeneousdatasources．Keywords：bigdatajob，workflow，opensource分析平台需要一套工作流引擎工具，将作业之间的依赖关1引言系、执行顺序、状态管理等有效衔接，从而提高作业任务的基于Hadoop的开源大数据系统经历了多个版本的开生产、运行、管理效率。发，技术更加成熟、性能更加稳定，众多企业和团队基于本文介绍了游戏大数据平台的现状和主流大数据工Hadoop系统，辅以Hive、HBase等工具搭建满足自身业务作流引擎，

9、重点研究游戏大数据平台引入开源的宙斯数据分析需求的大数据平台。为了满足作业调度和执行的(Zeus)I作流引擎系统的过程和效果，并针对自身业务需批量管理、自动处理、状态监控等需求，业务复杂的大数据求在其基础上实现二次功能的开发和增强。收稿日期：2015—12—01：修回日期：2016—02—12运营技术广角·136·至cmnob中定时执行。这种调度方式的好处就是简单、稳定，在业务需求相对简单、作业任务较少的应用场景，此方法完全可以满足需求。随着定时任务数量的增加．任务之间的关系越来越复杂，cmnt~方法存在的不足也13益突出：首

10、先是不易管理，所有任务均部署在配置文件中，增、删、改、查均不直观；二是安全性较差，团队成员均可独立修改crontab配置文件，图3Zeus任务调度沉程容易相互影响：三是任务之间的依赖关系只能实现简单的定时执行。配置容易出错；四是任务监控、错误处理没有统业类型较少，目前尚不支持pig、flume、sqoop等作业类型，一的框架级解决方案。这些问题使得游戏大数据平台迫切但对Hive的支持比较完备，例如支持Hive元数据的可视需要一套完整的用于管理和调度作业任务的工作流引擎化查询与数据预览，有完整的文档管理，因此对于以Hive系统。

11、为主要分析工具的游戏大数据平台来说。选择Zeus作为ApacheOozieL21是用于Hadoop平台的开源工作流调度工作流引擎更加贴合国内业务平台的需求、更加易用，而引擎。该框架使用XML定义工作流，由Oozie协调器管理且通过二次开发可以进一步优化Zeus系统。作业之间的