大数据下的流量异常检测策略

《大数据下的流量异常检测策略》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、大数据下的流量异常检测策略发布时间：2014-01-07作者：启明星辰前疗对于大数据，从不同的角度已给出的定义有很多，捷至对于其4V的解稀竟然也存在两套（一说是Volume.Variety,Value.Velocity.來自IBM的说法是Volume.Variety.Velocity.Veracity）,而在笔者-看来，单纯去讨论什么是大数据没有多少总义，你是否在应用大数据解决问题，如何解决的，这往往恐更有意义的话题。因此本文不求论述具体概念,仅从流量异常检测这一简单的具体问题出发,与你探讨大数据给流量异常检测帶來的变化，以及这些变化的益处与对可能引入的新问

2、题的担忧。对于信息安全业内人士，你-定对流量异常检测并不陌生，它无非是诸多异常检测问题之中的一个分支,本文即为内刊稿件，在此就不费诸多笔凰解释其具体含义，由于相关技术并不深奥.且为各位早已熟知，国内外的相关研究前沿这里也不再综述了。在今年夏天举办的XCon2013大会上，來自阿里巴巴的云舒介绍了该公司的弹性计算云安全解决方案，其中流量异常检测技术是其中的一个环节，由于当时笔者刚刚结束了相关的一个研究工作.因此对此记忆深刻，在云舒介绍的方案里，检测系统对所有虚拟主机的流量进行监控.对于异常的流员曲线进行筛选.对个别的界常流駅进行人工分析，他所讲的一个具体的实例

3、是，一条夜间小报文爲负荷，早上无流量而后tcp流駅爆发的流趟曲线，其背后经分析可确定为，该虚拟主机彼川來做快力站点漏洞扫描.夜间做扫描，一早做数据分析处理归纳出哪些站点有哪些漏洞，而后做具体的连接行为。-条异常流就曲线交给一个日常运维他的网络管理员，他可以快速的发现异常出现的位迎，并分析出引起异常的原因，但是如果这里有成干上万条流虽曲线等待网骨去分析，那么该如何是好呢？这时就耍用大数据的方法来应对大数据问题，就像阿里巴巴的策略，由算法直接进行筛选，将异常圈定到一个小范围中去，节省人工成本,提升处理效率。下文旨在基于笔者曾经的、微不足道的一点相关研究经验，与你

4、探讨大数抵给流虽并常检测帶來的变化，以及这些变化的益处与对可能引入的新问题的担忧。技术背呆流量曲线（数据包个数、数据包体枳等，能够衣现流量特征的数值序列〉是网络态势分析的常用工具，通过分析流虽曲线可以在第一时间获取特定时期内的网络负载情况、负伐变化情况，直观地评估网络环境的健康程度，特别是对于DDos洪泛攻击、Smurf攻击、Arp攻击等网络安全事件的发现具有比较实际、高效的指导作用。在大数据时代（并不十分准确，但从数据的角度出发去解决问题，是大数据的基本观点之一）以附，对曲线进行分析的传统方法-•般基于人工经验，即使是基于自动检测的算法，这些算法也一般是基

5、于先验知识的，比如我们可以设迓当流暈大于500kb/s时给出一个报警，或着200kb/s持续5秒钟给出一个报警，又或者对波动方差进行一定监控，但无论如何，这些方法祁是基于人类的知识，从人类对问题的理解、认识出发的，换句话说，可能受限于人类对问题的理解能力，人类无法拜托的主观错误，人类知识的慢速更新。与此不同，大数据style的解决也发点，是实实在在的客观数抵，山数据本身出发去解决与数据相关的问题。如今我们已经有条件存储海量的历史流量曲线，以存储为基础，针对历史流最曲线的数据挖掘，为进一步挖掘流量规律、利用流虽Illi线更加深入地识别网络事件、具体及駅化地评估

6、网络情况提供了可能性。笔者下面介绍的方法以历史流虽曲线为对彖，利用径向基函数神经网络（RadialBasisFunctionNetwork,RBF网络）,根据具体观测的流fit曲线,有针对性地建立历史流罐曲线模型,并建立在历史样本曲线、观测曲线、曲线模型三者间距离的基础上,同时给出观測曲线与曲线模型间的量化偏离度评估方法。不得不说的是，下而介绍的方法只是众多“II线建模方式的一种,对于从数据中学习这一问题已经是百花齐放，其中的具体公式与本文的主旨不干，只为说明思路点到为止。问题定义流圮iih线建模木质上是以丿力史流绘illi线为样本的数据挖抑I过私是对肪史流

7、呆曲线在形态上的概括总结。在分析网络状态或评估网络健康情况时，i般采用基于指标的态势感知分析方法，这种方法根据对比前后两个状态的差异程度來判断网络状态的迁移，区别于态势感知,Illi线模型往往包含着在时间维度上的前后关联信息，这种关联信息不仅可以回答态势是否发生了迁移，还可以更近一步分析这种迁移以历史的角度，是否发生过，变化幅度是否是正常的。网络流员的变化规律是山网络环境决定的，木质上是网络中各个节点的使川者（H然人或程序）行为规律的体现，因此为我们假设一•个曲线样本在历史中发生过，本质上是在讨论产生这一曲线的行为是否曾经发生过。流蜃曲线中最重要的因索是时间

8、，然而，通常情况下网络行为并不曲时间唯一确定，特别忌