数据挖掘技术在入侵检测中的应用

《数据挖掘技术在入侵检测中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、申请上海交通大学硕士学位论文数据挖掘技术在入侵检测中的应用学校：上海交通大学院系：信息安全工程学院班级：B0703691学号：1070369011姓名：陈宇珽专业：通信与信息系统导师Ⅰ：何德全（院士）导师Ⅱ：张保稳（副研究员）上海交通大学信息安全工程学院2010年1月ADissertationSubmittedtoShanghaiJiaoTongUniversityfortheMasterDegreeofEngineeringDATAMINGINGTECHNOLOGYAPPLYINGTOINTRUSIONDETCTIONSYSTEMAuthor：ChenYuting

2、Specialty:CommunicationandInformationSystemAdvisorⅠ:Prof.HeDequanAdvisorⅡ:Prof.ZhangBaowenSchoolofInformationSecurityEngineeringShanghaiJiaoTongUniversityShanghai,P.R.ChinaJanuary19,2010数据挖掘技术在入侵检测中的应用摘要随着互联网的普及，网络信息安全问题日益凸现。为了构建完善的安全防御体系，引入了防火墙、入侵检测系统、反病毒软件、虚拟专用网络(VPN)等各类网络安全产品。然而这些设备

3、在运行过程中，将会产生大量原始的告警记录，导致网络管理员难以发现网络中真正的安全风险以及告警原因并及时做出响应。在这些安全设备之中，入侵检测作为一项具有实时发现黑客攻击模式的设备广泛的应用于现代企业网络中。而将数据挖掘技术应用于入侵检测领域，有助于挖掘出新颖而有价值的概念化告警记录信息，提升发现本质攻击原因和模式的效率。本文重点研究了数据挖掘技术中聚类挖掘和关联规则挖掘在入侵检测领域中的应用，在聚类挖掘领域，对CLARAty算法做了两种适用性改进，提出了Partial-Sort-CLARAty和Roll-Back-CLARAty两种新的改进方案；在关联规则挖掘领域，

4、对现有的Apriori算法和FP-Growth算法进行深入的分析，并提出了对应的PS-Apriori和Twice-Sort-FP-Growth两种改进算法，由此设计和实现了相应的告警聚类挖掘和告警关联挖掘的方案。告警聚类以概念化告警的形式有效地对告警记录进行聚合，发现告警记录共有的本质原因；告警关联规则挖掘，可以挖掘频繁的安全事件关联规则，用于发现令人感兴趣的强规则，分析复杂的攻击原因。通过对MIT林肯实验室DDOS1.0数据集的测试，本文采用的两个方案都取得了良好的应用效果。全文在对入侵检测技术和数据挖掘技术进行深入详细的介绍之后名主要从以下5个方面进行创新性研究

5、：1.将原始告警记录数据集进行标准统一化。数据挖掘技术要求第I页输入的数据源在进行分析研究之前具备统一的格式，所以在进入进一步研究之前，将告警记录数据集进行标准化是非常有必要的。2.将聚类挖掘算法应用与入侵检测技术中，在原始CLARAty算法的基础上，提出Partial-Sort-CLARAty和Roll-Back-CLARAty两种改进算法，并对聚类过程中的过度概念化的情况进行了详细的分析，并且比对三种算法的优缺点。3.为了增强输入的概念化规则的通用性和规范性，本文设计了一种将高层概念进行统一的XML文件格式编码的解决方案，并用其来描述告警相关属性的概念化层次结构

6、，最后还作为实验聚类分析方案的标准。4.将关联挖掘算法应用与入侵检测技术中，针对Apriori算法和FP-Growth算法应用于入侵检测方案中的不足进行分析后，提出了AprioriBasedonPartitionandSampling算法，简称PS-Apriori算法以及Twice-Sort-Fp-Growth，对两组算法分别进行了比较与分析，并实现了相应的改进算法。5.针对官方流行的测试数据集进行相应的测试，对测试结果进行详尽的分析，并且与实际情况进行比对，得出了一般的结论，取得了较好的实验效果。关键词：入侵检测，数据挖掘，聚类分析，关联分析第II页DataMin

7、ingTechnologyapplyingtoIntrusionDetectionSystemAbstractWiththepopularityofInternet,networksecurityproblemhasbecomeincreasinglyserious.Inordertoestablishacomprehensivesecuritydefensesystemtosolvethisproblem,varioussecuritydevices,suchasfirewall,IDS,anti-virustoolsandVPN,havebeenintrod