资源描述：
《支持向量机及其在函数逼近中的应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、Vol.28No.5华东理工大学学报2002210JournalofEastChinaUniversityofScienceandTechnology555文章编号:100623080(2002)0520555205支持向量机及其在函数逼近中的应用1,2132朱国强,刘士荣,俞金寿(1.宁波大学电气工程与自动化研究所,宁波315211;2.华东理工大学自动化研究所,上海200237)摘要:支持向量机是一种新的机器学习算法,它的理论基础是Vapnik创建的统计学习理论。它采用结构风险最小化准则,在最小化样本点误差的同时,缩小模型预测误差的上界,从而提高了模
2、型的泛化能力。本文通过SVM在函数逼近中的应用,研究了SVM的小样本学习、泛化能力和抗噪声扰动能力。关键词:支持向量机;统计学习理论;结构风险最小化;核函数;函数逼近中图分类号:TP274文献标识码:ASupportVectorMachineandItsApplicationstoFunctionApproximation1,2132ZHUGuo2qiang,LIUShi2rong,YUJin2shou(1.ResearchInstituteofElectricalEngineeringandAutomation,NingboUniversity,Nin
3、gbo315211,China;2.ResearchInstituteofAutomationECUST,Shanghai200237,China)Abstract:Supportvectormachineisanewmachinelearningalgorithm,basedtheoreticallyonstatisticlearningtheorycreatedbyVapnik.Employingthecriteriaofstructuralriskminimization,whichminimizestheerrorsbetweensample2d
4、ataandmodel2dataanddecreasessimultaneouslytheupperboundofpredicterrorofmodel,SVM'sgeneralizationisbetterthanothers.ThecharacteristicsofSVM,suchasthestronglearningcapabilitybasedonsmallsamples,thegoodcharacteristicofgeneralizationandinsensitivi2tytorandomnoisedisturbance,areshownb
5、yitsapplicationstofunctionapproximation.Keywords:supportvectormachine;statisticlearningtheory;structuralriskminimization;kernelfunction;functionapproximation支持向量机(Supportvectormachine,SVM)结构风险最小化(Structuralriskminimization,是上世纪90年代中期提出的一种机器学习算法,它SRM)准则,在最小化样本点误差的同时,缩小模型[1]的基础是Vap
6、nik创建的统计学习理论。传统的学泛化误差的上界,即最小化模型的结构风险,从而提习方法(如神经网络)采用经验风险最小化(Empiri2高了模型的泛化能力,这一优点在小样本学习中更calriskminimization,ERM)准则,在训练中最小化为突出。样本点误差,因而不可避免地出现过拟合现象,这样SVM理论正是在这一基础上发展而来的,经过模型的泛化能力受到了限制。而统计学习理论采用几年来不断的研究,已得到一定的发展并逐步应用[2][3]于一些领域,如文本识别、时间序列预测、概率基金项目:宁波市科技攻关项目(0012002)密度估计[4]等。本文通过SV
7、M在函数逼近中的应E-mail:liusr@mail.nbptt.zj.cn用,研究SVM的小样本学习能力、泛化能力和抗噪收稿日期:2002203201作者简介:朱国强(19772),男,浙江上虞人,硕士生,研究方向为数据声干扰能力。建模和软测量等。556华东理工大学学报第28卷r33Ni+yi--b)-∑Ai(E+Ni+yi-1支持向量机i=1r33-b)-∑(GiNi+GiNi)(2)1.1函数逼近i=13函数逼近问题,即存在一未知函数y=f(x),上式对于参数w,b,Ni和Ni的偏导都应等于x∈Rd,y∈R,要求函数fd∶R
8、d→R,使得函数f和fd零,即r之间的距离5l(A3=w-∑i-Ai)xi=05
