基于spark的网络安全日志分析系统的研究与实现

《基于spark的网络安全日志分析系统的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：密级：学校代码：10414学号：2014160005硕士研究生学位论文基于Spark的网络安全日志分析系统的研究与实现ResearchandImplementationofNetworkSecurityLogAnalysisSystemBasedonSpark李俊杰院所：计算机信息工程学院导师姓名：钟林辉薛锦云学科专业：计算机技术研究方向：软件形式化与自动化二〇一七年五月万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注

2、和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：签字日期：年月日学位论文版权使用授权书本学位论文作者完全了解江西师范大学研究生院有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权江西师范大学研究生院可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫

3、描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书）学位论文作者签名：导师签名：签字日期：年月日签字日期：年月日万方数据摘要企事业单位通常在网络的出入口处安装多种网络安全设备以保障内部网络安全，防火墙和入侵检测系统等安全设备在运行过程中会产生大量的日志来记录网络事件。通过研究这些多源异构的日志数据并从中提取网络安全事件可以呈现网络安全态势，这样能够让管理人员准确地掌握网络运行状况同时做出正确的网络决策。网络安全设备日志具有海量性、复杂性和时空关联性等特点。传统的网络安全日志分析技术

4、越来越难以满足海量日志在采集、存储、预处理和分析等方面的需求。大数据具有4V特征:Volume(大量)、Velocity(高速)、Variety(多样性)、Value(价值)。本文的研究目标就是基于网络安全日志的特点，从海量日志的采集、存储、预处理和分析四个层面引入以Spark为核心的大数据技术，来开发一个速度快、伸缩性好、可扩展、处理数据量大的网络安全日志分析系统，从而实现大容量、低成本、高效率的网络安全分析能力。本文首先阐述了海量安全日志分析给网络管理人员带来的挑战和困难，然后介绍从日志的采集、

5、存储和分析等方面引入大数据技术的优势。本文通过Flume和Kafka技术完成了海量网络安全日志的分布式采集与传输，并根据实际需求对Flume源码进行了功能二次开发；其次，基于SparkSQL组件设计并开发了网络安全日志预处理模块，并通过该模块顺利完成对网络安全日志的预处理：过滤、规范化和聚合。与此同时，本文充分利用SparkSQL和SparkStreaming等技术，结合单源日志特征匹配分析和多源日志关联分析的方法完成对网络安全日志的分析，包括异常流量状况以及网络攻击事件展示。并基于JavaEE技术

6、开发了一个Web展示和查询界面，满足了网络管理人员对网络异常事件的可视化展示和查询需求。论文最后通过实际实验产生的网络安全日志对系统关键模块进行了功能测试和时间性能测试，并对相关结果进行了分析，证明基于Spark的网络安全日志分析系统初步满足了本文的设计目标和需求。本文主要的创新点如下：(1)考虑到同一网络攻击事件会在多个安全设备上产生较多的重复告警日志，为了方便后续对攻击类日志进行关联分析，本文在日志预处理模块提出了基于网络安全日志的属性相异度聚类算法。该算法以网络攻击模型对应的日志属性特征为基础

7、，根据IP地址和端口等属性对不同网络攻击具有相异的重要性来设置不同的权值，从而完成网络攻击重复告警日志的聚合。最后，通过实验证明了该算法对重复告警日志具有很好的聚合效果。(2)本文基于SparkSQL丰富的外部数据源接口和其抽象编程接口DataFrame，I万方数据提出并实现了基于SparkSQL的网络安全日志预处理模块：ETL_ON_Spark。相比于传统的日志预处理技术，本文实现的ETL_ON_Spark具有可处理日志种类丰富，可处理数据量大，速度快，灵活性强等特点。关键词：网络安全日志；大数据

8、；Spark；日志分析II万方数据AbstractDifferentkindsofNetworkSecurityAppliances(NSA)areinstalledinthegatewaytoensurethesafetyoftheenterprise’sintranet.Thesesecuritydevices,suchasfirewallsandInstructionDetectionSystems(IDS),willgeneratelargevolumeofl