基于最小二乘的最小类方差支撑向量机.pdf

《基于最小二乘的最小类方差支撑向量机.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第36卷第12期计算机工程2010年6月Vo1．36No．12ComputerEngineeringJune2010·博士论文·文章编号：100o_-3428(2010)12—0ol9___03文献标识码：A中圈分类号：TP391基于最小二乘的最小类方差支撑向量机王晓明，王士同(江南大学信息工程学院，无锡214122)摘要：针对最小类方差支撑向量机(MCVSVM)在小样本情况下仅利用类内散度矩阵非零空间中信息的问题，提出基于最小二乘的最小类方差支撑向量机(LS．MCVSVM)算法，通过牛顿优化法迭代求解LS．MCVSVM的优化问题，从而有效解决了小样本问题。实验结果表明

2、，相对于MCVSVM，LS—MCVSVM算法可进一步提高泛化能力，减少训练时间开销。关健词：监督学习；最小类方差支撑向量机；优化算法Least．Square．basedMinimumClassVarianceSupportVectorMachinesWANGXiao-ming，WANGShi-tong(SchoolofInformationEngineering，JiangnanUniversity，Wuxi214122)IAbstract]AimingattheproblemthatMinimumClassVarianceSupportVectorMachines(M

3、CVSVM)whichutilizeonlyinformationinthenon-nullspaceofthewithin-classscattermamxinsmallsamplesizecase，thispaperpresentsanovelalgorithmcalledLeast—Square-basedMinimumClassVarianceSupportVectorMachines(LS—MCVSVM)．TheoptimizationproblemofLS—MCVSVMcanbesolvedbyusingNewtonoptimization，andthesm

4、allsampleproblemcanbeavoidedeficiently．ExperimentalresultsonseveralrealdatasetsshowthatLS—MCVSVMcanimprovethegeneratingabilityandreducethetrainingtimegreatly．[KeywordsIsupervisedlearning；MinimumClassVarianceSupportVectorMachines(MCVSVM)；optimizationalgorithml概述2最小类方差支撑向量机近年来，支撑向量机(Suppor

5、tVectorMachines，SVM)“j本文假定有一个由Ⅳ个样本组成的数据集已经成为机器学习和模式识别领域中的研究热点之一。然而，=，⋯，X]，Vx∈R，X∈R，所有样本分属于2个不传统的SVM建立决策超平面的依据是最大间隔距离原则，同的类别，用表示第(：1，2)类数据子集，其中，共含仅考虑了每类数据边界上的样本，没有利用数据的分布信息，有Ⅳ个样本，Y表示样本X的类别标号，Vy∈{1,-1}。从而在一定程度上制约了泛化能力的进一步提高。针对这个MCVSVM的优化问题定义如下：问题，文献(2】提出了最小类方差支撑向量机(MinimumClassrninWSⅣW+c∑毒

6、，WSwW>0VarianceSupportVectorMachines，MCVSVM)算法。该算法在i=1建立决策超平面时既考虑每类数据边界上的样本，又考虑了s．t．Yl(w+易)≥1一，专>0，i=1，2，·--，N(1)数据的分布信息，因此，其不易受例外样本点或噪音数据的其中，s为数据的类内散度矩阵，其定义为影响，具有更强的鲁棒性和泛化能力。然而，在小样本情况Sw=∑∑(—U)(一U)(2)下MCVSVM算法却遇到了类内散度矩阵S的奇异性问题。K=1f为了在这种情况下应用MCVSVM，文献[2】采用主成分其中，n=÷∑表示第K类数据子集的均值向量。i、Klxx分析

7、(PrincipalComponentsAnalysis，PCA)算法将原始数据投影到低维空间中，然后在投影后的低维空间中应用MCVSVM3基于最小二乘的最小类方差支撑向量机算法。这种方法本质上是在S的非零空问中应用MCVSVM3．1LS·MCVSVM优化问题定义首先，通过修改MCVSVM的目标优化问题，定义算法。然而文献【3]指出，S的零空问中其实包含非常重要LS—MCVSVM的优化问题为的类别鉴别信息。因此，该方法最大的缺点在于舍弃了Su，零空间中的信息，从而制约了其分类性能的进一步提高。min要Sww+圭为了解决这个问题，本文借鉴最