基于storm的实时计算架构--天罡

《基于storm的实时计算架构--天罡》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、实时流计算应用开发框架-天罡关于□孔令西•阿里巴巴数据平台部•游泳，海鲜，金花，儿子•专注数据平台基础平台产品化及流计算•lingxi.konglx@alibaba-inc.com•weibo.com：http://weibo.com/kennyccp提纲•1.背景•2.业界•3.产品介绍•4.架构设计•5.squirrelQL•6.实践经验1.1业务背景•Bigdata数据量膨胀•业务快速变化，商业模式的创新•SNS,移动互联网•用户体验个性化，实时化•…1.2离线计算vs.流计算From

2、HarnessingDatainMotion>1.3数据分析演进趋势2.1业界流计算引擎Enginestatestorage2.2storm介绍•最新版本storm0.74•主要特性：-适用场景广泛-可伸缩性高-保证无数据丢失-异常健壮-容错性好•一些问题：Enginestatestorage-编程门槛对普通用户较高-框架无持久化存储-框架不提供消息接入模块-stormui功能简单-跨topology的bolt复用-nimbus单点-topology不支持动态部署2.3storm架构Enginestatestorage3.1阿里巴巴业

3、务需求特征目前需求归类需求特征统计业务关键指标，客观反映当前的业绩分钟级延迟；丌能漏算；丌能错算；统计1现状，比如网站活动监控时长为当天；跟踪业务指标的变化趋势，出现异常波动，分钟级延迟；丌能漏算；丌能错算；统计2能智能报警时长为当天；业务闭环运营中的实时数据应用，比如事秒级延迟；允许漏算；丌能错算；计算过3件营销，触发式服务程复杂（规则多）；秒级延迟；允许漏算；丌能错算；不推荐实时推荐4系统交互频繁；秒级延迟；丌允许漏算；丌能错算；计算实时数据信息服务5过程复杂（指标定义复杂，指标个数多）；部分指标统计时长跨天；3.2天罡-产品定位

4、天罡：实时流计算应用开发框架深刻理解实时业务需求，提供实时计算的完整应用开发框架1.屏蔽系统复杂性，可配置方式即可完成消息源接入2.类SQL工具，封装引擎系统，降低实时计算任务的开发难度3.完整的任务管理系统Enginestatestorage，提供任务配置、发布、管控一条龙服务4.强大的运维管理系统，监控系统、任务、数据的状态，适时报警3.3天罡Features•简单统计计算(包括时间窗口)•多流join计算(动态)•容错，事务•中间状态持久化•统一消息接入•支持类SQL•支持数据类型：int/long/string/double…

5、•支持Enginestatestorageschema•支持join,distinct,groupby,count,topN•支持常规函数-to_char,substr…3.4天罡-核心概念处理流程数据采集数据接入流式计算数据输出MessageMessagetopicData信息MessagesourceMessageMessagetopicMessageJobExtractjobProcessingjob由message由类SQL组件实现业务逻辑extractprocessingservice提供功能凼数天罡系统里的相关概念说明：1

6、.一个messagesource（相当亍database）包括1个以上的messagetopic(相当亍table)，一个messagetopic由1条以上的message（相当亍record）组成。2.天罡系统有二类Job，分别称为extractjob和processingjob。一个extractjob负责一个messagetopic的消息接入，一个processingjob由1个以上的messagetopic参不计算。一个messagetopic可以被多个processingjob引用。Processingjob的输入内容称为m

7、essage，计算的结果输出，称为data。4.1天罡-技术方案SqurrielQLSQL解析组件SQL执行计划组件元数据管理算子组件tablejoindistinctarg…消息处理流向erosaMessageMessageStreamprocessingengine(storm)extractstorageservicecenter精卫HBASEmessageDatametasupervisor实时logconnectornimbusoutputboltserviceMSCmessageDBfilemanageradaptorsp

8、outzookeper…EnginestatestorageLocalbuffercachePersistencestorageHBASE4.2天罡-功能模块划分GlobalControlSystemDatasubscr