资源描述：
《基于MySql的日志分析系统设计ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、主要内容日志分析系统查询需求分析访问特点分析基于性能考虑的系统体系架构基于需求的mysql优化及表设计基于需求的memcache使用其他开源工具的使用总结系统简介分析各大产品线的访问情况，以图形和图表的方式，提供各种监控及访问信息，为决策者提供可靠的数据支持系统目前支持的分析指标有，Hits、带宽、UIP（独立用户IP）、下载速度、下载时长、响应时间、受访URL、受访域名、来路URL、来路域名、全国用户分布统计、运营商分布统计、受访文件大小、文件类型、Squid命中率、请求响应类型、异常用户统计系统基础工作:各业务部门统一we
2、b服务器的日志格式系统需求特点海量数据实时性写多读少系统现状:天表每天增量千万级,每天入库上1亿条。数据库增量400G，www日志存储增量近2TB系统部分需求展示1系统部分需求展示2系统整体架构系统架构说明该系统架构根据功能模块可分为如下节点:A(Agent)B(Bee)D(Data)M(Manger)R(Relay)系统执行流程采集节点功能：负责推送日志到B点实现过程：利用Rsync实现推送，以接口方式访问M点获取Rsync的目标地址动作：在每五分钟内切割完日志并推送。每小时获取M点更新的配置完成自更新数据格式：压缩后的统一
3、规范定义的标准日志格式运算节点功能：根据需求分析日志并推送到D点运算机制：逐行分析日志+多进程工具:使用FaceBook的HipHop加快运算速度频率：每两分钟调度分析脚本分析结果：保存为文本，格式为sql语句。如insertintotablevalues(),(),()Relay点存在的意义:保障数据传输的速度及效率，减少网络问题导致的数据阻塞及不完整性问题重现:电信和网通之间的互相访问问题，导致日志传输丢失或不能在规定时间内到达指定节点解决方法:电信服务器访问电信，网通服务器则访问网通数据节点功能：负责将接收到的sql文本
4、入库动作：在每两分钟运行入库脚本。每天定时创建分钟表(m_表)，每小时将分钟表中过去一小时的数据聚合,即h_表，每天聚合前一天的小时表数据，即天表d_，以及触发器及存储过程的调用。将最近三天的分钟表，最近三个月的小时表，定义为热数据，并定期创建为merge类型，方便程序的编写。展示节点数据访问接口:通过增加数据中心层来封装对数据库及缓存等数据的读取，方便程序员编写代码，减少业务逻辑数据库代理:Amoeba展示方式:图形+报表+Flash使用工具:Mysql5.1+Php5.3+Amoeba+Fushionchart+Apach
5、e+Memcache等管理节点功能:掌握各大节点的系统运行状况，资源使用情况任务列表:负责管理调度系统其他节点,管理各节点的Rsync地址，分析B点的运算结果，健康检查，日志传送数据的完整性及过期信息处理等工作工具:Gearman好处:Gearman使任务的分发变的更加灵活，避免登录多个节点获取信息，提高运维效率,方便多服务器管理。Gearman介绍Gearman流:Client:请求的发起者Job:请求调度人，负责把Client的请求转发给相关的WorkerWorker:请求的处理人，Gearman实例具体实例:在各大分析点
6、起守护进程worker.php监听指定的端口在M点命令行下运行client.phpcmd来执行各种工作cmd相关安全性检查数据节点—瓶颈分析Vmstat下bo，wa的值都很大，磁盘随机访问量大2.IO瓶颈:insert频繁且量大，造成磁盘写IO增大3.cpu瓶颈:sum,orderby,groupby操作比较多，cpu容易出现瓶颈4.select:量大sendingdata比较耗时，索引失效，全表遍历造成磁盘读IO量大，造成读等待5.累积伤害值:cpu过度使用造成大量进程的等待，系统响应变慢进程数累积增加，导致内存使用增加，内
7、存耗尽则导致虚拟内存的使用，最终又导致磁盘IO和cpu的超负荷使用，其他系统开销增多，系统平衡被打破数据节点-展示相关表引擎:使用MyISAM,Memory表操作:多为insert，无delete,updateQuery分析:Select操作及sum,avg,groupby,orderby,limitWhere定向:多为时间粒度及产品线等多角度混合查询。时间粒度:最近五分钟,最近一小时，最近25小时等查询条件:按产品线,运营商，城市，机房，服务器数据节点—表的设计考虑到需求上涉及到的操作时间相关,如最近五分钟，最近一天，最近一
8、小时等,从数据库中读取的数据大且更新频繁，所以采用按时间拆表及对时间建立索引的方案,使用引擎MyISAM具体如下:1.对各种时间粒度建立索引应对复杂的组合查询，按天，小时，每五分钟(一天288个点)建立索引。采用整形如选择2010年04月03的128个五分钟,wheremin
