基于Spark Streaming的实时日志分析与信息管理系统的设计与实现

《基于Spark Streaming的实时日志分析与信息管理系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文(工程硕士)基于SparkStreaming的实时日志分析与信息管理系统的设计与实现DESIGNANDIMPLEMENTATIONOFREAL-TIMELOGANALYSISANDINFORMATIONMANAGEMENTSYSTEMBASEDONSPARKSTREAMING王梦蕾哈尔滨工业大学2018年6月国内图书分类号：TP311学校代码：10213国际图书分类号：621.3密级：公开工程硕士学位论文基于SparkStreaming的实时日志分析与信息管理系统的设计与实现硕士研究生：王梦蕾导师：

2、赵玲玲讲师副导师祁睿工程师申请学位：工程硕士学科：软件工程所在单位：计算机学院答辩日期：2018年06月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP311U.D.C:621.3DissertationfortheMasterDegreeinEngineeringDESIGNANDIMPLEMENTATIONOFREAL-TIMELOGANALYSISANDINFORMATIONMANAGEMENTSYSTEMBASEDONSPARKSTREAMINGCandidate：WangMenglei

3、Supervisor：Prof.ZhaoLinglingAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：SoftwareEngineeringAffiliation：SchoolofComputerScienceDateofDefence：June,2018Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要随着互联网流量的爆发式增长，网络应用的不断涌现使

4、得网络环境日益复杂。同时，这样给开展网络安全分析工作带来了越来越大的难度。与以往相比，网络攻击具有更强的隐蔽性、形式更加复杂、检测难度越来越大从而更加难以防范，大规模的具有针对性的恶意网络攻击也越来越普遍。互联网公司运营了大量的产品服务器来为用户提供丰富的网络服务。在这种情况下，一旦遭遇巨大的流量数据流的攻击，造成产品服务器的各方面性能的下降或者是服务器宕机，从而没有办法继续提供高效并且稳定的网络服务。因此互联网公司需要一个可以实时分析日志来检测DDoS(DistributedDenialofService)攻

5、击的系统来为产品服务器提供安全检测，当发生DDoS攻击时，能够及时的提出应对方案以减少受到的损害。本文以能够实时并且准确的分析日志来检测是否发生DDoS攻击为目的，提出了一种基于SparkStreaming的实时日志分析方法，同时提出了一种基于信息熵结合聚类的DDoS检测方法，实时检测是否发生了DDoS攻击，如果发生了攻击时则及时给客户告警消息。在本文中，对基于SparkStreaming的实时日志分析与信息管理系统进行了需求分析，并且设计实现了该系统，为检测DDoS提供了可视化系统。在系统设计与实现方面，本文

6、提出了一种开源的以大数据技术为依托的实时计算平台设计方案。该设计方案一共包括五个层次，每一个层次都为一个功能实体向上提供服务。本文主要实现客户信息管理、服务器管理、客户服务管理、服务器状态监控、客户服务告警、客户服务告警以及资源信息管理等功能。在以上的功能中，最为重要的是客户服务告警以及资源信息管理模块，在资源信息管理模块可以为客户购买的资源进行清洗服务器配置以及任务的下发；在客户服务告警模块能够准确及时的为客户发送消息。关键词：分布式拒绝服务攻击检测；SparkStreaming；信息熵；K-means算法-

7、I-AbstractAbstractWiththeexplosivegrowthofInternettraffic,thecontinuousemergenceofnetworkapplicationsmakesthenetworkenvironmentbecomemoreandmorecomplex.Atthesametime,ithasbroughtmuchmoredifficultiestonetworksecurityanalysis.Comparedwithpastnetworkattacks,now

8、adayonesaremoreconcealed,complex,difficulttodetect,whichmakesitmuchlesspreventable.Also,alargenumberoftargetedmaliciousnetworkattacksarebecomingmoreandmorecommon.Internetcompaniesoperatelotsofpr