iqcep架构参考案例x

《iqcep架构参考案例x》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、IQ+CEP架构参考案例杨旭东2010.11提纲背景业务背景技术背景架构业务架构体系架构系统架构CEP技术分享及问题讨论业务背景中移动要求‘用户感知’系统更好的支持运营，贴近客户，防止客户流失系统的原始数据基于设备信令信息，数据量极大8000w用户局点（广东）90天仅信令数据超过300TB系统今后会处理用户手机上网数据，预计数据量10PB11月在广州和南京两地对10家厂家进行入围测试中移动提供规范及测试用例10家测试厂家均采用Sybase产品测试用户量大于450w，日数据量90~120G/天技术背景数据库无法处理信令分析

2、中一些基于连续时间窗口的业务数据库处理性远远不能满足业务要求举例业务要求任何时间段内的查询结果需要6s返回2kw数据表完成找到符合条件的记录耗时1分钟条件：满足某一条件的记录10s内出现一条类似记录如：A拨打B的电话，若持续时间小于5秒，且在10秒内又产生了一条A拨打B的通话记录，则该记录视为满足条件M40002.15GHz8core16logicalCPU数据库没有基于连续时间窗口的查询条件会遗漏部分数据数据库条件查询某时间段内记录无结果不等于该时间段内无满足业务条件的记录举例：查询连续1分钟连续拨打同一电话超过10次

3、的电话记录Sql：10点到11点间1分钟内拨打同一电话的超过10次的记录实际:9:59:30~10:00拨打电话A5次，10:00:00~10:00:30拨打电话CA次Sql查询无结果，实际业务有记录几个典型的基于连续时间窗口业务恶意呼叫连续拨打同一个号码，不接通就挂掉可以视为恶意呼叫的一种恶意短信短时间内向同一个号码或不同号码发送几十上百条短信乒乓切换在一定时间内在不同蜂窝（接入设备）间切换疑似单通串话分析较短时间内同一通话只有短时间接通，并有多种类似情况出现可以视为单通的一种业务架构采集层汇聚层共享层应用层采集

4、层：各类交换机的信令数据采集汇聚层：汇聚各个局点来的数据，并对数据包进行过滤分析，如告警、重传、序号检测和差错检测等、共享层：完成消息的分析，合成，形成CDR话单并入库CEP，IQ，Oracle等数据平台处于共享层应用层：业务展现体系架构SybaseCEPOracle/PGSybaseIQECDAApplication系统架构系统架构（续）架构组件说明CDR程序基于JAVA，实现CEPout-of-processinputAdapter读取并合并多台CDR生成服务器话单Publish数据到SybaseCEP将CDR话单程

5、序移到IQ加载路径Storing程序：基于C/C++采用一定的算法进行IQ数据文件加载架构缺点CDR话单落地后才交给CEP处理CEP与IQ串行工作，文件落地2次，效率较低CEP直接入IQ库，单插效率低OutputAdpater采用CEP自带DBoutputAdapterODBC接口系统架构——优化CEP技术细节分享CEP性能In-processSocketInputadapter1.2w/s~1.6w/sperCPUonM40002.4w/sondellE6400(E86002.4GHz)Out-of-processad

6、apter处理速度为4k/s时，CPU占用率仅为2%CEPR4/ESD1在Solaris平台只能使用1CPUbug部分查询分成多个stream能显著提高性能（condition1andcondition2)or(condition3andcondition4)拆分成两个流分别处理效率更高增加索引，可以提高5%~10%的处理性能善用csvinputAdapter及debug模式进行调试CEP问题讨论CEP结果是否能直接IQ？自带DBoutputAdapter，”insertinto”入IQ性能差输出结果数据量实时性要求高，

7、自己写基于load的outputAdapterCEP能否做预处理的工作？输入流与输出流数据量差别不大，处理性能？基于时间段窗口的统计预处理，有无必要？CEP处理时参数的动态修改？读取外部配置表，性能？增加配置数据流，当前配置不读