基于hmm的netflow异常流量检测方法的研究

《基于hmm的netflow异常流量检测方法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP39密级公开UDC004编号10299S1308017硕士学位论文基于HMM的Netflow异常流量检测方法的研究ResearchoftheDetectionMethodofNetflowAbnormalFlowBasedonHMM指导教师许晓东作者姓名吴云龙申请学位级别硕士学科(专业)通信与信息系统论文提交日期2016年4月论文答辩日期2016年6月学位授予单位和日期江苏大学2016年6月答辩委员会主席_______________评阅人______________独创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已注明引

2、用的内容以外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果，也不包含为获得江苏大学或其他教育机构的学位或证书而使用过的材料。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：年月日学位论文版权使用授权书江苏大学、中国科学技术信息研究所、国家图书馆、中国学术期刊（光盘版）电子杂志社有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致，允许论文被查阅和借阅，同时授权中国科学技术信息研究所将本论文编入《中国学位论文全文数据库》并向

3、社会提供查询，授权中国学术期刊（光盘版）电子杂志社将本论文编入《中国优秀博硕士学位论文全文数据库》并向社会提供查询。论文的公布（包括刊登）授权江苏大学研究生处办理。本学位论文属于不保密□。学位论文作者签名：指导教师签名：年月日年月日江苏大学硕士学位论文摘要在现如今这个科技发达、信息飞速流通的社会，网络的安全越来越受人们的关注和重视。Netflow作为思科公司提出的一种数据交互方式，在监测网络中发挥着重要的作用。国内外也针对Netflow异常检测做了很多研究。但随着网络的发展，传统的基于“流”的异常检测技术存在训练样本要求大，特征提取复杂，面对未知异常检测率低的问题；而且在面对海量Ne

4、tflow流数据时，目前的研究也未发现也很好的应对之策。基于以上的问题，本文的研究将隐马尔可夫模型和大数据相结合，提出了基于HMM的Netflow异常流量检测方法。本文的研究主要包括数据采集和处理，建立模型和异常检测三个模块。首先数据采集和处理模块中，利用重新设计的分布式日志采集系统Flume，将Netflow流采集到分布式文件系统。其次在建立HMM模型中，利用协议的高度规范化，实现针对Netflow数据按照ICMP，TCP和UDP三种协议进行分类。然后根据每种协议的样本流数据进行降维、量化等预处理，建立每种协议正常流的HMM模型。最后异常检测模块，根据每种协议建立的模型，针对待检测

5、序列，分布式实现前向算法计算出观测概率。将计算得到的概率与特定的阈值进行比较，实现异常Netflow流量的检测。通过本文的研究，利用隐马尔可夫模型作为异常检测的基本算法模型，不仅需要的样本量大大减少；且不再需要针对每种攻击类型单独建模，而是根据协议分类建模，降低了复杂度，对未知的异常也有一定的检查效果。本文的方法利用分布式存储和分布式计算框架，帮助我们提供了一种解决海量数据下的异常流数据检测的办法。关键词：网络，异常流检测，Hadoop，隐马尔科夫模型，NetflowI基于HMM的Netflow异常流量检测方法的研究AbstractInthisscienceandtechnology

6、development,therapidflowofinformationsociety.Netflow,asakindofdataexchangemethodproposedbyCISCO,playsanimportantroleinthemonitoringnetwork.TherearealotofresearchesaboutNetflowathomeandabroad.Butwiththedevelopmentofnetwork,thetraditionalanomalydetectiontechnologybasedon"flow"hasthefollowingprobl

7、ems:Heavydemandfortrainingsample;Complexfeatureextraction;Lowdetectionrateofunknownanomaly.AndinthefaceofmassiveNetflowstreamingdata,thecurrentresearchhasnotfoundagoodstrategy.Basedontheaboveproblems,CombininghiddenMarkovmodelswit