基于spark大数据平台日志审计系统的设计与实现

基于spark大数据平台日志审计系统的设计与实现

ID:31359513

大小:108.00 KB

页数:7页

时间:2019-01-09

基于spark大数据平台日志审计系统的设计与实现_第1页
基于spark大数据平台日志审计系统的设计与实现_第2页
基于spark大数据平台日志审计系统的设计与实现_第3页
基于spark大数据平台日志审计系统的设计与实现_第4页
基于spark大数据平台日志审计系统的设计与实现_第5页
资源描述:

《基于spark大数据平台日志审计系统的设计与实现》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库

1、基于Spark大数据平台日志审计系统的设计与实现  摘要:审计是通过跟踪客户访问内容和访问方式来定位系统的安全问题,以便制定相应的安全措施,以弥补现有出现的漏洞问题。系统架构的基础上,系统需求分析结果表明,设计的目标和原则,同时也进一步提出了物理架构和系统的总体架构。通常来说位置的物理架构系统物理环境条件下,一般来说系统的体系结构,包括完成整个系统的这些功能模块。本课题探究的是日志审计系统基于Spar大数据平台,这里有着比较高速度以及较为良好的可扩展性和处理大量的数据,处理结果比较好,对目前日志审计系统的分析和研究做出了有益的尝试。  关键词:信息安全;大数据;日志审计;云计算  

2、中图分类号:TP391文献标识码:A文章编号:1009-3044(2016)15-0010-02  1基于Spark大数据平台日志审计系统架构设计  1.1系统设计目标和原则7  本课题中日志审计系统通过对杂志收集监测设备采集模块,并且日志记录用户访问记录,系统运行日志以及整个系统运行状态信息。这里实现的是基于火花大数据平台日志审计系统的设计目标和原则主要表现在传统日志审计系统的基本功能和依赖大数据技术为整个扩展传统的日志审计系统。这里我们知道日志信息收集后解析XML日志将大量的数据和格式变量复杂源日志信息标准化伪日志信息的规范,一般来说在合并后单位时间函数在同一IP和报警分析等处

3、理,同时这个日志集中管理存储在我们的一个存储系统中,能够有比较丰富的日志数据,实现我们的一整个全面的IT环境的审计日志。  本文探究的集中管理平台,能够较好地提供视图显示和操作更为方便的实现原理。通常来说对于集中管理平台通过图表清晰直观地显示实时分析的结果分析模块。我们能够对这份报告总结了历史时期的安全状况。同时,具体来说集中管理平台提供的管理系统,如日志收集管理或者是我们的安全管理,还有整个用户管理等等,在利用维持整个系统的管理功能。一般来说在对大数据技术来完成一些基本的日志审计系统的这样一个要求。并且在对我们的日志进行一个采集系统来取代传统的模块。一般来说我们的日志采集系统高可

4、用性、同时还有比较好的一个可伸缩性和可以接受各种优秀的源格式;使用大数据平台的分析引擎日志审计系统,能够完成我们的这个上游的日志收集日志信息标准化。  1.2系统技术架构设计7  本课题中我们知道对于审计系统,一般来说关键就是探究由大数据平台,同时集中管理平台,作为一个Mysql服务器主机。具体来看大数据平台上运行的一组服务器。另外在利用我们的大数据平台上运行的服务器日志信息标准化以及完成我们的分析,同时能够将整个结果存储在数据库中。通常来看我们数据库只保留一天的日志信息,同时这些所有的日志信息存储在分布式文件系统的大数据平台。其中一些数据在数据库中为方便安全管理人员查询日志信息,

5、并且我们的这个报告信息和设置。具体来看我们大数据平台本身包含了分布式文件系统可以用作持久性存储。倘若我们在这个查询太古代历史日志信息或者需要探索分析报告图表的信息,一般来说也是需要完成的Spark大数据平台。  安全管理审计系统通过个人电脑连接,通常看看当前操作系统的日志信息,分析,同时还有具体报告只需要查询的数据可以保存在一个Mysql数据库。通常来说这样不仅有利于保护数据持久性,同时已经被证明是更长一段时间所有的数据挖掘,并防止频繁的影响信息查询日志分析的大数据平台。并且我们在集中管理平台提供了一个WEB服务,能够利用我们的网络查询系统分析结果,最后完成整个的操作和管理系统等基

6、本信息。  2系统功能架构  2.1系统功能组成  2.1.1日志采集  本课题探究的基于Spark大数据平台日志收集日志审计系统关键就在于这个可伸缩性和可用性。同时因为我们IT的现实工作环境会改变的可能性,并且一般来说不是改变更复杂的也可能是流线型的,通常来说这个具体日志收集应该根据实际监测网络的大小,从而来以确保你占用物理资源的大小,同时利用具体增加的方便和灵活的采集能力或释放多余的资源。一般来看我们的日志标准化基于标准化规范匹配所有的日志文件和日志信息是唯一可识别的格式。另外整个的日志标准化后的分析工作的前提下,仅仅是在实现了所有的标准化可以有效分析日志的日志格式。通常来说我

7、们的可用性是反映在日志收集能够接收各种各样的方式,而不是说处理现在常见的发展云计算的企业环境。收购后的日志需要标准化日志。  2.1.2集中管理平台7  集中管理平台提供了一个有效的访问接口,也就是说被视为视觉层,这里也得到了最后的整个分析结果。通常来说我们的安全管理员是能够实现审计日志的基本信息查询,同时还可以完成我们的查询统计查询等功能。另外,我们是可以利用整个基本的配置,来完成终端管理,完成整个系统的某些配置信息的管理。  2.1.3日志分析  日志分析是在大数

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。