支持向量机及其应用ppt课件.ppt

《支持向量机及其应用ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数学与计算机学院彭宏支持向量机及其应用SupportVectorMachinesanditsApplication智能算法讲座（一）目录线性可分的支持向量（分类）机线性支持向量（分类）机支持向量（分类）机最小二乘支持向量（分类）机硬-带支持向量（回归）机软-带支持向量（回归）机-支持向量（回归）机最小二乘支持向量（回归）机支持向量机应用SVM的描述SVM是一种基于统计学习理论的模式识别方法，它是由Boser,Guyon,Vapnik在COLT-92上首次提出，从此迅速的发展起来，现在已经在许多领域（生物信息学，文本，图像处理，语言信号处理

2、和手写识别等）都取得了成功的应用COLT(ComputationalLearningTheory)SVM的描述目标：找到一个超平面，使得它能够尽可能多的将两类数据点正确的分开，同时使分开的两类数据点距离分类面最远。解决方法：构造一个在约束条件下的优化问题，具体的说是一个约束二次规划问题(constrainedquadraticprograming),求解该问题，得到分类器。模式识别问题的一般描述已知：n个观测样本，(x1,y1),(x2,y2)……(xn,yn)求：最优函数y’=f(x,w)满足条件：期望风险最小损失函数SVM的描述期望风险R(

3、w)要依赖联合概率F(x,y)的信息，实际问题中无法计算。一般用经验风险Remp(w)代替期望风险R(w)一般模式识别方法的问题经验风险最小不等于期望风险最小，不能保证分类器的推广能力.经验风险只有在样本数无穷大趋近于期望风险，需要非常多的样本才能保证分类器的性能。需要找到经验风险最小和推广能力最大的平衡点。一、线性可分的支持向量(分类)机首先考虑线性可分情况。设有如下两类样本的训练集：线性可分情况意味着存在超平面使训练点中的正类和负类样本分别位于该超平面的两侧。如果能确定这样的参数对（w,b）的话,就可以构造决策函数来进行识别新样本。线性可

4、分的支持向量(分类)机问题是：这样的参数对（w,b）有许多。解决的方法是采用最大间隔原则。最大间隔原则：选择使得训练集D对于线性函数(w·x)+b的几何间隔取最大值的参数对(w,b)，并由此构造决策函数。在规范化下，超平面的几何间隔为于是，找最大几何间隔的超平面表述成如下的最优化问题：(1)线性可分的支持向量(分类)机为求解问题(1),使用Lagrange乘子法将其转化为对偶问题。于是引入Lagrange函数：其中，称为Lagrange乘子。首先求Lagrange函数关于w,b的极小值。由极值条件有：得到：(2)(3)(4)线性可分的支持向量(

5、分类)机将(3)式代入Lagrange函数，并利用(4)式，则原始的优化问题转化为如下的对偶问题(使用极小形式)：这是一个凸二次规划问题有唯一的最优解(5)求解问题(5)，得。则参数对(w,b)可由下式计算：线性可分的支持向量(分类)机支持向量：称训练集D中的样本xi为支持向量，如果它对应的i*>0。根据原始最优化问题的KKT条件，有于是，支持向量正好在间隔边界上。于是，得到如下的决策函数：目录线性可分的支持向量（分类）机线性支持向量（分类）机支持向量（分类）机最小二乘支持向量（分类）机硬-带支持向量（回归）机软-带支持向量（回归）机

6、-支持向量（回归）机最小二乘支持向量（回归）机支持向量机应用二、线性支持向量(分类)机现在考虑线性不可分情况。对于训练集D，不存在这样的超平面，使训练集关于该超平面的几何间隔取正值。如果要用超平面来划分的话，必然有错分的点。但我们任希望使用超平面进行分划，这时应“软化”对间隔的要求，即容许不满足约束条件的样本点存在。为此，引入松弛变量并“软化”约束条件：i线性支持向量(分类)机为了避免i取太大的值，需要在目标函数中对它们进行惩罚。于是原始优化问题变为：其中C>0称为惩罚因子。(6)线性支持向量(分类)机类似前面，通过引入如下的Lagran

7、ge函数：得到如下的对偶问题：(7)线性支持向量(分类)机求解对偶问题(7),可得如下决策函数：支持向量有下列性质：(1)界内支持向量一定位于间隔边界上的正确划分区；(2)支持向量不会出现在间隔以外的正确划分区；(3)非支持向量一定位于带间隔的正确划分区。目录线性可分的支持向量（分类）机线性支持向量（分类）机支持向量（分类）机最小二乘支持向量（分类）机硬-带支持向量（回归）机软-带支持向量（回归）机-支持向量（回归）机最小二乘支持向量（回归）机支持向量机应用三、支持向量(分类)机对于一般的非线性可分情况。对于训练集D，无法寻找到来如前的超

8、平面来划分。支持向量(分类)机下面通过核技术来处理。引入一个非线性映射把输入空间映射到一个(高维的)Hilbert空间H,使数据在H中是线性可分或线