一种基于支持向量机的pca分析方法

《一种基于支持向量机的pca分析方法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、维普资讯http://www.cqvip.com第33卷第1期华中科技大学学报(自然科学版)V01．33N0．12005年1月J．HuazhongUniv．ofSci．&Tech．(NatureScienceEdition)Jan．2OHD5一种基于支持向量机的PCA分析方法卢正鼎赵萍(华中科技大学计算机科学与技术学院，湖北武汉430074)摘要：提出一种更简洁的用于主要成分分析(PCA)及其非线性分析的公式．给出一个含有规则化项的原始权空间的约束最大优化问题，应用核技巧来解决其对偶问题．该公式同最小二乘支持向量机(LS-S

2、VM)分类器相似．遵循常规的SVM方法，将输入空间的数据映射到高维特征空间，然后使用核技巧，利用主对偶约束最大优化来解释线性和非线性PCA分析问题．其优点在于对偶问题适用于高维输入空间，而原始问题在N很大时能被更好地解决．关键词：支持向量机；主要成分分析；核技巧；最小二乘支持向量机中图分类号：TP38文献标识码：A文章编号：1671—4512(2005)01—0025—03APCAanalysismethodbasedonsupportvectormachineLuZhengdingZhaoPingAbstract：Asim

3、pleformulationforprincipalcomponentanalysis(PCA)anditskernelversionWaSpresent—ed．Aconstrainedoptimizationprobleminprimalweightspacewithincorporationofaregularizationtermwasdiscussed．Thedualproblemwassolvedbyusingthekerneltrick．Theformulationwasmadeinthesamefashiona

4、sintheleast—squaressupportvectormachine(LS-SVM)classifiers．Thedatawasmappedfromtheinputspacetoahigh—dimensionalfeaturebyfollowingtheusualSVMmethodologyandthekerneltrickwasapplied．AsolutionequivalenttokernelPCAcanbeobtainedfromthenonlinearversionoftheformulation．The

5、dualproblemissuitforthelight—dimensionalinputspaceandtheprimalproblemcanbesolvedbetterwhenNisbigger．‘Keywords：supportvectormachine(SVM)；principalcomponentanalysis(PCA)；kerneltrick；leastsquares—supportvectormachine(SVM)LuZhengdingProf．；CollegeofComputerSci．&Tech．，Hu

6、azhongUniv．ofSci．&Tech．，Wuhan430074，China．支持向量机(SVM)已成功地应用于模式识主对偶约束最大优化问题来解释线性和非线性别、函数估计、非线性分类等领域1．这些问题都PCA分析问题．LS-SVM的方法与规则化网络、被归结为凸优化问题，通常是二次规划，然后解决高斯过程、非线性回归以及再生核Hilbert空间等其对偶问题．在模型和公式中用到了基于与正有问题都紧密相关[3，．限核相关的Mercer定理的核技巧．在支持向量机分类器或回归问题中通常插入典型的正有限核，1SVM公式在线性PCA中

7、的应用例如：线性核、多项式核函数、RBF核等．本文介绍了一种基于主对偶支持向量机公式给定一组数据{}l，其ER且N被设的对偶变量的PCA公式．该公式同最小二乘支持定为能用于找到含有最大方差的投影变量∞TXk向量机(LS-SVM)分类器lJ极为相似．能够利用收稿日期：2004—04—15．作者简介：卢正鼎(1944一)，男，教授；武汉，华中科技大学计算机科学与技术学院(430074)E-mail：zdlu@mail．bust．edu．cn基金项目：国家“十五”重大科技专项基金资助项目(2001BA102A06—11)．维普资讯

8、http://www.cqvip.com26华中科技大学学报(自然科学版)第33卷的数据点集[．相当于maxvar(oTx)=b．由标准化后的公式∑=1得到原始空COV(OT，OTX)兰OT，其中，C=(1／N)．间中的等式OTO=．．可使用拉格朗日公式L(∞；)=(1／C．PCA分析通常