一种LDA和聚类融合的SVM多类分类方法-论文.pdf

《一种LDA和聚类融合的SVM多类分类方法-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、西北大学学报(自然科学版)2014年8月，第44卷第4期，Aug．，2014，Vo1．44，No．4JournalofNorthwestUniversity(NaturalScienceEdition)一种LDA和聚类融合的SVM多类分类方法汝佳，陈莉，房鼎益(西北大学信息科学与技术学院，陕西西安710127)摘要：改进传统的基于二叉树结构的支持向量机多类分类方法。将无监督聚类引入到算法中，利用无监督聚类剔除大量的非支持向量样本，同时对于无监督聚类在异类样本相近时出现的性能下降问题，引入线性判别分析使得同类样本聚集，异类样本分散，确保聚类精度。线性判别分析和

2、无监督聚类结合能够显著地缩减训练样本。该方法能够在保持分类准确率的情况下有效地提高SVM的分类速度。关键词：支持向量机；线性判别分析；模糊C均值聚类；多类分类；二叉树中图分类号：TP391文献标识码：A文章编号：1000-274X(2014)04-0559-04SVMmIllti．classclassificationbasedonLDAandclusteringRUJia，CHENLi．FANDing—yi(SchoolofInformationScienceandTechnology，NorthwestUniversity，Xian710127，Chin

3、a)Abstract：Toimprovetraditionalmulti—classSVMmethodbasedonbinary—tree．Usingunsupervisedclusteringtoextracttrainingset，meanwhile，usinglineardiscriminantanalysistosolvetheperformancedegradationofclusteringwhensamplesindifferentclassesaresimilar，makesthesamplesinthesameclassesaregathe

4、redto—getherandthesamplesindifferentclassesarescattered，toensuretheaccuracyofclustering．LDAandclustercanreducetrainingsampleefficiently．Theapproachimprovesthespeedofclassificationeffectivelywhilemaintainingclassificationaccuracy．Keywords：suppo~vectormachine；lineardiscriminantanalys

5、is；fuzzyC—meansclustering；multi—classclas-sification；binary—treeVapnik提出的支持向量机SVM(supportvec—需要构造J7＼，(Ⅳ-1)／2个两类SVM分类器，在分类tormachine)¨以训练误差作为优化问题的约束的过程中采用投票法统计所有分类器的分类结条件，以置信范围值最小化作为优化目标，即果，选择的票数最多的类别作为待分类对象的类SVM是一种基于结构风险最小化准则的学习方别，这种方法的缺点是需要训练的两分类分类器法，其推广能力明显优于一些传统的学习方法。数目太多，训练速度慢；

6、1-a-r方法进行多类分类但是，SVM是针对两类分类问题提出的，而实际时虽然只需要训练Ⅳ-1个分类器，但由于负类样中的多分类问题更为普遍，所以支持向量机多类本太多导致分类精度往往较低；DAG方法也因需分类方法的研究也就成为支持向量机研究的一个要的训练的SVM数目太多而训练速度较慢；基于热点。常用的多类方法有：one．against—one(1_a_1)二叉树的方法是近年来研究的热点，按结构可以方法l2J、one—against—rest(1一a—r)方法_2J、有向无环分为“正二叉树”和“偏二叉树”两种，“正二叉图DAG(directedacyclicgra

7、ph)方法、基于二叉树”是在内节点处，多个类和多个类的分割，“偏树的方法-3等。对于Ⅳ类分类问题，1-a-1方法二叉树”则是一类样本与剩余类构造分割面。收稿日期：2013-04-13基金项目：国家自然科学基金资助项目(61070176)作者简介：汝佳，男，陕西渭南人，从事数据挖掘研究。西北大学学报(自然科学版)第44卷基于聚类思想的SVM多类分类方法也是目约束条件为：∑u=1(Vk=1，2，⋯，／2)，其中前研究的热点，针对该方面的研究已有很多引。加权指数m≥1，训练详细步骤如下：本文引入聚类算法主要是提取可能含有支持向量的少部分样本作为训练样本【9]，从而

8、减少训练时1)指定聚类数目c，初始化算法参数m和C的