资源描述：
《支持向量机及其核函数》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第17卷第4期辽阳石油化工高等专科学校学报Vol.17No.42001年12月JonrnalofLiaoyangPetrochemicalCollegeDecember2001支持向量机及其核函数王亮申(辽阳石油化工高等专科学校机械系辽阳111003)侯杰(辽阳石油化纤公司纤维厂辽阳111003)摘要支持向量机是解决分类、线性回归问题的可行算法,具有简化问题结构,降低运算复杂度等优点.对于非线性分类问题,通过函数的正确选择,可将其转化为线性问题进行解决.核函数的确定是SVM中的重要部分,本文介绍几种简单实用的核函数.关键词模式识别;机器学习;核函数;SVM中图分类号
2、O235支持向量机SVs(SupportVectorMachines)别表示两类训练样本,H为把两类没有错误地分是由Vanpik领导的AT&TBell实验室研究小组开的分类线,H1、H2分别为过两类样本中离分类在1963年提出的一种新的非常有潜力的分类技线最近的点且平行于分类线的直线,H1和H2之术,主要应用于模式识别领域.由于当时这些研究间的距离叫做分类间隙.所谓最优分类线就是要尚不十分完善,在解决模式识别问题中往往趋于求分类线不但能够将两类无错误地分开,而且要保守,且数学上比较艰涩,因此这些研究一直没有使两类的分类间隙最大(虚线为另一种分类形得到充分的重视.直到
3、90年代,一个较完善的理式),前者是保证经验风险最小,而使分类间隙最论体系—统计学习理论(StatisticalLearningThe2大实际上就是使置信范围最小,从而使真实风险ory,简称SLT)的实现和由于神经网络等较新兴最小.推广到高维空间,最优分类线就成为最优分的机器学习方法的研究遇到一些重要的困难,比类面.如如何确定网络结构的问题、过学习与欠学习问题、局部极小点问题等,使得SVMs迅速发展和完[1]善,在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中.1支持向量机1.1线性可分分类面图1最优分类面支
4、持向量机的理论最初来自对二值分类问设线性可分样本集为(xi,yi),i=1,..,n,题,首先讨论线性可分情况.SVM基本原理是寻d找一个最优分类面(OtimalHyperplane),并使其x∈R,即x是d维特征向量y{-1,1}是类别标号,d维空间线性判断函数的一般形式为两侧的分类间隙(margin)最大.图1所示的是二维线性可分情况,图中十字星点和方形空心点分g(x)=w·x+b,分类面方程为:w·x+b=0(1)收稿日期:2001—10—19·32·辽阳石油化工高等专科学校学报第17卷第4期n即若集合中的类1和类2线性可分,则存在有λ3(x3=sgn∑iyi
5、i·x)+b,(8)(w,b),使得i=1w·xi+b>0,Pxi∈类1,1.2线性不可分分类面线性不可就是某些训练样本不能满足式(3)w·xi+b<0,Pxi∈类2。的条件,这时目标函数(6)的最大值将为无穷大.式中w为权向量,b为分类域值。从(1)式为此引入一个非负的松弛项知道,若w和b同时被放大或缩小由(1)确定的ξi≥0,(9)分类面不变,为了消除这些冗余量,不失一般性,yi[(w·xi)+b]-1+ξi≥0(10)假设训练集中的所有样本都满足g(x)≥1,线性不可分的分类问题变成在条件(9)和即使离分类面最近的样本的
6、g(x)
7、=1,这样(10)的约束下求
8、下列函数的极小值:分类间隙就等于2/‖w‖,因此使间隙最大等价n于使‖w‖(或‖w‖2)最小;这样求1ª(w,ξ)=(w·w)+C∑ξi(11)2i=1121min«(w)=2‖w‖=2(w·w)(2)其中C为某个指定常数,它实际上起控制对在条件下错分样本惩罚的程度的作用.yi[(w·xi)+b]-1≥0,i=1,2,⋯,n.(3)用与求解线性分类面时同样的方法求解这一优化问题,得到一个二次函数极值问题,其结果与的最小值,就得到了最优分类面H.过两类样本线性可分情况下得到的式(5)～式(8)几乎完全相中离分类面最近的点且平行于最优分类面的超平同,只是条件(5)的λi
9、变为.面H1和H2上的训练样本就是式(3)中使等号成0≤λi≤C,i=1,2,⋯,n(12)立的那些样本,它们叫做支持向量(SupportVec21.3非线性可分分类面tors,简称SVs).图中用圆圈标出的点即为SVs.上面讨论的分类判别函数(8)中只包含待分为了求解(2)式,引入Lagrange函数:类样本与训练样本中的支持向量的内积运算(x1L(w,b,λ)=(w·w)-2·xi).非线性判别问题的思路是先通过非线性变n换将输入向量x映射到一个高维空间(Hilbert空∑λi{yi[(w·xi)+b]-1},(4)i=1间)中,然后在此高维特征空间中进行分
