基于遗传算法高维离群点检测算法改进

《基于遗传算法高维离群点检测算法改进》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、基于遗传算法的高维离群点检测算法的改进摘要：离群点检测问题在欺诈检测，网络鲁棒性分析，和入侵检测等领域上有着重要的应用，并且大多数应用在高维数据领域中，Aggarwal和Yu提出的基于子空间投影和遗传算法（GA）的离群点检测方法是处理高维数据的一个有效方法。由于该算法的交叉重组过程采用贪心策略选择子串，并且随着变异概率的改变可能导致发现不了一些有意义的离群数据。本文提出一种改进的算法，通过对原算法的交叉过程和变异过程进行适当的改进，提高了检测的精度并不受变异概率改变的影响。关键词：离群点检测；高维数据；遗传算法；交叉；变异Animprovedhigh-dimensi

2、onalOutlierdetectionalgorithmBasedongeneticalgorithmJiaruiyu,Huangyitang,Shidondong（EducationalDepartmentKeyLaboratoryofIntelligentComputing&SignalProcessing,AnuiUniversity,Hefei,china230039SchoolofComputerScienceandTechnologyofAnhuiUniversity,Hefei230039）Abstract.:Theoutlierdetectionp

3、roblemhasimportantapplicationsinthefieldoffrauddetecti，on,networkrobustnessanalysis,andintrusiondetection.Mostsuchapplicationsaremostimportantforhigh-dimensionaldomainsinwhichthedatacancontainhundredsofdimensions.AggarwalandYu'srecentprojectionofspace-basedandgeneticalgorithm(GA)oftheO

4、utlierDetectionofhigh-dimensionaldataprocessingisaneffectivemethod,becausethealgorithmiscross-restructuringprocessbygreedystringofstrategicoptions,andmutationinthecourseofthismutationprobabilitythatthechangemaynotleadtosomeOutlier.Thispaperpresentsanimprovedmethod,throughthecrossoveran

5、dthevariabilityofdueprocessofimprovement,ImprovetheaccuracyofthetestandisnotsubjecttomutationprobabilityofimpactKeywords:outlierdetection；high-dimensionaldata；geneticalgorithm；crossover；mutation1.引言离群数据挖掘通常可以看作三个子问题：①什么样的数据是异常，即离群点的定义；②有效挖掘离群数据的方法；③离群点的意义，即离群挖掘结果的合理解释。到目前为止，离群点还没有一个被普遍

6、采纳的定义，Hawkins对离群定义在一定意义上揭示了离群点的本质：“离群点与其他点如此不同，以至于让人怀疑它们是由另外一个不同的机制产生的。”现有的离群点的定义大多是在Hawkins定义的基础上给出的一个定量化描述。近年来，研究人员提出了大量的离群检测算法，大致可以把它们归纳为以下几类：基于统计的方法、基于密度的方法、基于深度的方法、基于距离的方法和基于偏离的方法。在一些实际的应用中常常要面临这高维的问题，高维空间离群检测与其他数据集的离群检测差别甚大的原因主要有两个：①高维空间数据的稀疏性经常导致所有记录在传统距离的收稿日期:2008基金项目:安徽省高等学校省级

7、自然科学研究项目（kj2008B092）作者简介：贾瑞玉（1965-），女，副教授,研究方向为计算机图形学、数据挖掘、人工智能;黄义堂（1983-），男，安徽滁州人，硕士研究生，研究方向为智能软件。意义上都有可能是离群点。因此，高维空间中很难找到一个通用的离群产生机制；②高维空间中的离群检测算法的计算复杂度通常都比较高，算法的执行效率极低。高维空间中的异常检测通常采用Aggarwal＆Yu提出的高维数据异常检测方法。基本思想是把高维空间投影到子空间，采用演化计算来寻找最优子空间，降低空间的维数，然后利用传统的检测算法来发现异常。具体实现时，高维空间中异常模式的检