基于深度神经网络的序列异常检测研究

《基于深度神经网络的序列异常检测研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA硕士学位论文MASTERTHESIS论文题目基于深度神经网络的序列异常检测研究学科专业计算机软件与理论学号201521060305作者姓名马金指导教师刘震副教授分类号密级注1UDC学位论文基于深度神经网络的序列异常检测研究（题名和副题名）马金（作者姓名）指导教师刘震副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业计算机软件与理论提交论文日期2018.03论文答辩日期

2、2018.05学位授予单位和日期电子科技大学2018年6月答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。ResearchonSequentialAnomalyDetectionBasedonDeepNeuralNetworkAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaDiscipline:ComputerSoftwareandTheoryAuthor:JinMaSuperviso

3、r:AssociateProfessorZhenLiuSchool:SchoolofComputerScience&Engineering摘要摘要异常检测一直是系统健康管理、入侵检测、医疗保健、生物信息学、欺诈检测和机械故障检测等应用领域中广泛研究的问题。在现实生产生活中，有大量的数据是具有序列特性的，由于序列数据的应用场景的多样性，序列数据的异常检测问题是一项具有非常高的应用价值的工作。由于以下两方面原因，序列数据的异常检测是一个非常富有挑战性的研究问题。首先，异常数据难以获取，通常情况下我们

4、只能获取相对很少的异常数据实例。其次，数据的序列特性很难被模型学习到。深度神经网络是含有多隐层的神经网络的统称，近些年来在计算机视觉，语音识别等应用领域取得了显著的突破。其中，自编码网络由于其良好的非线性特征提取能力，已经被大量应用于各种降维和去噪的工作中，另一种类似架构的，作为深度生成模型代表的变分自编码网络在无监督学习和半监督学习场景下的文本生成，图像风格迁移等领域取得了很好的效果，而循环神经网络则是被广泛应用于各种类型的序列数据建模中。结合上述分析，可以通过构建基于深度神经网络的模型来解决

5、序列异常检测问题。本文的主要工作包括以下几点：分析研究了自编码网络、变分自编码网络、循环神经网络、长短期记忆网络这几种基本神经网络架构，以及最新提出的变分循环神经网络模型；结合自编码网络与长短期记忆网络，建立了一个自编码循环神经网络模型，并在此基础上提出了一个新的序列异常检测算法；使用变分循环神经网络模型，采用半监督学习的方式，提出了一种全新的序列异常检测算法；在提出的算法中，提出了一种KL损失退火方法和序列异常得分集成方法以提升异常检测效果。本文使用了一些曾经用于序列异常检测研究的现实世界数据

6、集，对提出的算法进行了大量的参数敏感度测试，并选择了一些当前通用的异常检测算法进行了实验对比，发现提出的算法在一些数据集上能够超过这些通用异常检测算法的检测效果，证明了本文所提出的新的序列异常检测算法用于解决通用序列异常检测问题的可行性，并且通过实验分析，对算法的优点和局限性做出了分析。关键词：异常检测，序列异常检测，深度神经网络，自编码网络，变分自编码网络，循环神经网络，长短期记忆网络IABSTRACTABSTRACTAnomalydetectionhasbeenawidelystudiedi

7、ssueinapplicationssuchassystemhealthmanagement,intrusiondetection,healthcare,bioinformatics,frauddetectionandmechanicalfaultdetection.Inreallife,thereisalargeamountofdatawithsequencecharacteristics.Duetothediversityofapplicationscenariosofsequencedat

8、a,theproblemofanomalydetectionofsequencedataisaveryhighvalueapplication.Anomalydetectionofsequencedataisaverychallengingresearchquestionfortworeasons.Firstofall,theanomalydataisdifficulttoobtain,undernormalcircumstanceswecanonlygetarelativelysmallnum