基于大数据的网络异常行为检测平台的设计与实现

《基于大数据的网络异常行为检测平台的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、工程硕士学位论文基于大数据的网络异常行为检测平台的设计与实现作者姓名李若鹏工程领域计算机技术校内指导教师高英教授校外指导教师徐国明高级工程师所在学院计算机科学与工程论文提交日期2018年3月DesignandImplementationofNetworkAbnormalBehaviorDetectionPlatformBasedonBigDataADissertationSubmittedfortheDegreeofMasterCandidate：LiRuopengSupervisor：Prof.GaoYingSou

2、thChinaUniversityofTechnologyGuangzhou,China摘要在大数据时代的背景下，网络安全得到了前所未有的重视，但是网络安全问题依然十分严重，主要体现为：一方面，网络攻击的种类呈现多样化的特征，安全数据体量呈现爆发式的增长，传统的网络安全分析方法无法满足海量数据分析需求；另一方面，新的攻击模式不断涌现，且网络攻击呈现高级持续性威胁（APT）的倾向，传统的分析方法无法快速、有效地做出响应。为了处理这些问题，基于大数据的网络异常行为检测平台是一种很好的解决方案。其核心概念是：结合多种大数据

3、技术解决海量安全数据的实时处理、分析、关联、分类、检索和还原问题，实现安全可视分析、多源事件数据关联、用户行为分析等一系列大数据安全分析功能。基于大数据技术的网络异常行为检测平台的优势在于不依赖传统规则集，能够根据海量安全数据进行处理、关联、分析与建模，有效解决传统工具存在的以上问题。针对异常检测目前的发展情况，本文提出了一种基于大数据的网络异常行为检测平台，实现多种海量安全数据可靠高效的接入与存储，能够有效关联、分析和挖掘长时间、大规模的安全数据，帮助快速发现和定位异常，及时做出判断和响应。与此同时，本文设计了一种

4、网络数据流特征提取与存储的方案。通过这种解决方案实现海量网络数据流的快速处理和存储，从而达到降低资源消耗并提高平台运行效率的效果。最后，本文设计了一种重组TCP会话并计算会话统计特征数据的方案，通过结合流式处理技术获取更高维度的数据特征，提高平台整体运行效率和异常识别能力。关键词：信息安全；大数据技术；异常检测；流式处理；TCP会话重组IAbstractUndertheeraofbigdata,cybersecurityreceivesunprecedentedattention.Howeverthereisstil

5、lsomechallengesinthisfield.Ononehand,traditionalnetworksecurityanalysismethodscannotsatisfythedemandsofmassdataanalysisduetothevariouscyber-attackfeaturesandexplosivenetworkdatavolume.Ontheotherhand,sincealargeamountofnewattackpatternsandtheAdvancedPersistentTh

6、reat(APT)appear,thetraditionalanalysismethodscannotrespondquicklyandeffectively.Thenetworkanomalydetectionplatform(NADP)basedonbigdataandmachinelearningisagoodsolutiontosolvetheseproblems.Itscoreistocombinethemassivedataprocessingtechnologywiththehigh-precision

7、abnormaldetectionbasedonmachinelearning.TheadvantageofproposedNADPdependsonaspectsasfollows.First,itisunnecessarytoconstructadatabasetomatchtheattackpatterns.Second,withtheusageofnumerousdata,themodelinNADPcanbetrainedautomatically.Therefore,theplatformisableto

8、overcomethedefectsexistingintraditionalmethods.Accordingtothecurrentdevelopmentofanomalydetection,thispaperproposesanetworkanomalydetectionplatform.Firstly,basedonbigdata,th