基于svm-rfe和粒子群算法的特征选择算法研究

《基于svm-rfe和粒子群算法的特征选择算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP391学校代码10542密级学号201102181600基于SVM．RFE和粒子群算法的特征选择算法研究AStudyonFeatureSelectionAlgorithmbasedonSVM．．RFEandParticleSwarmOptimization研究生姓名指导教师姓名、职称学科专业研究方向许露林俊副教授电路与系统模式识别与图像处理湖南师范大学学位评定委员会办公室二。一四年五月摘要1111114ItlllItllllllIIlUlIIitIill{Y2549791在数据挖掘和机器学习领域，随着大规模、高维数据的不断涌

2、现，特征选择己成为模式识别技术的核心问题之一。大量无关或冗余特征的存在不仅造成了维数灾难，还直接影响了分类器性能，因此需要对数据进行特征选择。特征选择是根据某种评估标准，从原始特征空间中除去不相关、冗余特征，以达到降低数据维数的目的。支持向量机(sVM)作为一种有效的识别工具，已被广泛应用于各领域，并在小样本高维数据中有其独特优势，本文将以支持向量机作为分类器用于特征选择。基于不同的评价准则，许多不同有效的特征选择算法被提出，但面对错综复杂的数据问题，特征选择技术还需不断完善。本文采用了一种基于SVM．RFE和粒子群算法(PSO)的两

3、阶段特征选择算法，从特征选择搜索策略来看，SVM—RFE属于启发式序列后向选择算法，搜索速度快，但不能有效识别冗余特征。粒子群算法则是一种随机搜索智能优化算法，理论上能找到问题的最优解，其结果具有较高的不确定性。本文将利用SVM．RFE和粒子群算法的不同优势进行数据降维，首先利用SVM．RFE算法对特征进行排序，并按一定准则快速去掉部分无关特征，初步降低数据维数，然后以SVM．RFE排序后的优良子集初始化后续粒子群算法的部分种群，使其有一个好的搜索起点。因此，SVM．RFE算法能为后续粒子群算法提供较好的先验知识，减少了粒子搜索空间，

4、并在一定程度上提高了算法选择效率。在粒子群算法中，采用白适应权重参数来有效避免算法过早收敛等问题。最后，通过UCI数据库的不同数据集进行验证，实验结果表明：比起单一的SVM．RFE和粒子群特征选择算法，该方法在不降低分类性能的情况下，能得到属性维数更少的子集，且在高维数据集上，该算法比单一粒子群算法花费的时间更少。关键字：特征选择；支持向量机；SVM一Ⅺ砸；粒子群优化算法AbstractWiththeemergenceoflarge．scaleandhighdimensiondataindataminingandmachinelear

5、ningfields，featureselectionisbecomingoneofthemostimportantprobleminPatternRecognition．Toomanyirrelevantandredundantfeatureswillnotonlycausethecurseofdimensionality，butimpacttheperformanceofclassifiersdirectly,SOfeatureselectioniSimportant．FeatureselectioniSremovingirrel

6、evantandredundantfeaturesfromtheoriginalfeaturespaceaccordingtoacertainevaluationcriteria，toachievethegoalofreducingthefeaturedimension．SupportVectorMachine(SVM)isaneffectiverecognitiontoolthatbeingwidelyusedinmanyapplicationareas，andhasuniqueadvantagesinsmallsampleorhi

7、gh—dimensionaldata．Inthispaper,SupportVectorMachineisusedasclassifierforfeatureselection．Basedondifferentevaluationcriteria，manydifferentandeffectivefeatureselectionmethodshavebeenproposed，butforcomplexproblems，featureselectionneedstoconstantlyimproved．Inthispaperatwost

8、agefeatureselectionmethodbasedonSVM．RFEandParticleSwarmOptimization(PSO)algorithmisproposed．SVM—RFEbelongstoth