模式识别论文new

《模式识别论文new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1支持向量机1．1线性SVM最优超平面SVM方法是从线性可分的情况下的最优分类面(OptimalHyperplane)提出的。设线性可分样本集为，i=1，⋯，n；Y={+1，-1}是类别标号，分类面方程为：W*X+b=0(1)这个平面将两类样本没有错误的分开，并且使得离分类面最近的样本到分类面的距离最大，即分类间隔最大，等价于使最小，W为分类面的法向量。而要求分类面对所有样本正确分类，约束条件为：，i=1,2,L,n(2)因此，满足上述条件且使得llW最小的分类面就是最优分类面。过两类样本中离分类面最近的点且平行于最优分类面的超平面H．、H上的训练样本就是式(2)中使等号成立的那些样本叫做支

2、持向量。最优分类面可以表示为如下约束的优化问题，即在式(2)的约束下，求函数(3)的最小值。为此，可以定义如下的拉格朗日函数：(4)(4)式中，>0为拉格朗日系数。把原问题转化为如下较简单的对偶问题：i=1,……n。1．2非线性SVM上面讨论的是最优和广义线性分类函数，要解决一个特征空间中的最优线性分类问题，我们只需知道这个空间中的内积运算即可。按照广义线性判别函数的思路，要解决一个非线性问题，我们可以设法将它通过非线性变换转换为另一个空间的线性问题，在这个变换空间求最优或最广义分类面。考虑Mercer条件：对于任意的对称函数，它是某个特征空间的内积运算的充分必要条件是，对与任意的恒不为0，

3、且，有，显然这一条件不难满足。如果用内积K(x，Y)代替最优分类面的点积，就相当于把原特征空间变换到了某一新的特征空间，此时的支持向量机为：相应的判别函数也应变为：。其它的条件不变，这就是支持向量机。支持向量机的思想可以概括为：首先通过非线性变换将输入空间变换到一个高维空间，然后就这个新空间中求取最优线性分类面，而这种非线性变换是通过定义适当的函数实现的，这些函数叫做核函数。选择不同的核函数就构成不同的支持向量机，常用的有以下三类核函数：linear：K(x，y)=x*y；ploy：K(x，y)=；rbf：K(x，y)=;2支持向量机分类算法的实现支持向量机算法是在训练样本的特征空间求取能把

4、两类样本没有错误分开的最大间隔超平面，在数学上表示为一个凸二次规划的问题。也可以说算法求解的主要内容是通过求解二次规划(QP)问题，这个优化问题的求解是支持向量机算法的核心，可以说支持向量机的算法就得到了实现。前面所述支持向量机算法可以表示为在式(6)和式(7)的约束下求式(5)取最小值时的拉格朗日乘子为训练样本的个数。(5)(6)(7)其中：为n元列向量，是要求的拉格朗日乘子；是一个正定矩阵；是样本的所属类别，由1或一1组成的列向量；xi为训练样本。可以看出，求解支持向量机就是求解上述的一个二次规划问题，求解后得到拉格朗日乘子，也就求得了最大间隔超平面。求解这个二次规划问题需要深厚的数学功

5、底数值计算方面的技能，在主流程序语言中实现算法又需要专业的计算机程序设计的知识。在MATLAB环境下求解这一问题会变得非常简单，这得益于MATLAB软件强大的优化工具箱，提供了一个求解二次规划的函数，可以直接调用。二次规划问题(quadraticprogramming)的标准形式为：sub．toAeqx=beq其中，H、A、Aeq为矩阵；f、b、beq、lb、ub、x为向量，其它形式的二次规划问题都可转化为标准形式。MATLAB5．x版中的qp函数已被6．0版中的函数quadprog取代。函数quadprog格式如下：[x，fva1]=quadprog(H，f，A，b，Aeq，beq，lb，

6、ub，x0)其中H、f、A、b、Aeq、beq、lb、ub为标准形中的参数；x为求解得到的最优值，也就是二次规划的解析解；lb、ub分别为x的下界与上界，满足不等式约；Aeq、beq满足等约束条件Aeq*x=beq；x0为设置的初值，这个值是人为赋予x的值，一般x为零；fval为目标函数最小值，可以看出，支持向量机算法是一个标准的二次规划问题；，根据训练样本数据求出；f=-1；支持向量机算法没形式的不等式约束条件，所以A、b为空矩阵；，beq=Y，实现AY=0等式约束；Lb=0、ub=C，实现不等式约束；x0=0，赋予A的初始值为零。样本数据已知，c是人工赋于的值。3．实例说明及实验结果3.

7、1实验程序代码%定义核函数及相关参数nu=0.2;%nu->(0,1]在支持向量数与错分样本数之间进行折衷ker=struct('type','linear');%构造两类训练样本n=50;randn('state',6);x1=randn(2,n);y1=ones(1,n);x2=5+randn(2,n);y2=-ones(1,n);figure;plot(x1(1,:),x1(2,:),'bx',x2(1