支持向量机SVM-PPT课件.ppt

《支持向量机SVM-PPT课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、支持向量机理论及发展李保连2012-11-20主要内容SVM基本原理SVM面临的一些问题TWINSVM介绍SVM简介支持向量机理论简介支持向量机SVM(SupportVectorMachine)是统计机器学习的一类重要算法,它根据统计学习理论，以结构风险最小化原则为理论基础的一种新的机器学习方法，能有效地解决高维数和非线性等问题，有效地进行分类、回归等。与其它分类器相比，SVM具有更好的泛化性。迄今为止，SVM已经在模式分类、回归分析、函数估计等领域有广泛的应用。什么是svm原始区域svm划分后的区域SVM基本原理线性可分类型问题描述：我们要用一条直线，将上图中黑色的点和白色的点分开，

2、很显然，图上的这条直线就是我们要求的直线之一（可以有无数条这样的直线）SVM基本原理我们令深色的点=-1，浅色的点=+1，直线f(x)=W·X+b，这里的W、X是向量，这种形式也等价于f(x)=W1X1+W2X2…+WnXn+b当向量x的维度等于2的时候，f(x)表示二维空间中的一条直线，当x的维度=3的时候，f(x)表示3维空间中的一个平面，当x的维度=n>3的时候，表示n维空间中的n-1维超平面。当有一个新的点x需要预测属于哪个分类的时候，我们用sgn(f(x))，就可以预测了这里sgn表示符号函数当f(x)>0时，sgn(f(x))=+1当f(x)<0时，sgn(f(x))=–1

3、SVM基本原理怎样才能取得一个最优的划分直线f(x)呢？下图的直线表示几条可能的f(x)SVM基本原理一个很直观的感受是，让这条直线到给定样本中最近的点最远下面有两种划分方法第一种第二种右图中被红色和蓝色圈中的点即所谓的支持向量（supportvector）SVM基本原理原则：分割的间隙越大越好，把两个类别的点分得越开越好在SVM中，这种最大的分隔间隙称为MaximumMarginal，是SVM的一个理论基础。ClassifierBoundary就是f(x)，红色和蓝色的线（plusplane与minusplane）就是supportvector所在的面红色、蓝色线之间的间隙就是我们要

4、最大化的分类间的间隙SVM基本原理根据解析几何可得出M的表达式:经过一系列的数学变换，得出我们要优化求解的表达式：

5、

6、w

7、

8、的意思是w的二范数，跟上面的M表达式的分母意思相同，之前得到，M=2/

9、

10、w

11、

12、，最大化这个式子等价于最小化

13、

14、w

15、

16、,另外由于

17、

18、w

19、

20、是一个单调函数，为了方便求导，我们可以对其加入平方和前面的系数SVM基本原理上式有还有一些限制条件，完整的表达方式如下：s.t.意为subjectto，即在后面这个限制条件下的意思，这个词在svm的论文里面出现的频率很高。这其实是一个带约束的二次规划(quadraticprogramming,QP)问题，是一个凸问题。凸问题就是

21、指的不会有局部最优解，可以想象一个漏斗，不管我们开始的时候将一个小球放在漏斗的什么位置，这个小球最终一定可以掉出漏斗，也就是得到全局最优解。s.t.后面的限制条件可以看做是一个凸多面体，我们要做的就是在这个凸多面体中找到最优解。SVM基本原理这个优化问题可以用拉格朗日乘子法去解，使用了KKT条件的理论，这里直接给出这个式子的拉格朗日目标函数求解这个式子的过程需要拉格朗日对偶性的相关知识，首先让L关于w，b最小化，分别令L关于w，b的偏导数为0，得到关于原问题的一个表达式KKT条件考虑问题minf(x)s.t.g(x)<=0则KKT条件是存在y使得最优解满足▽f(x)+y^T▽g(x

22、)=0其中，y<=0y^Tg(x)=0SVM基本原理将两式带回L(w,b,a)得到对偶问题的表达式:SVM基本原理新问题加上其限制条件是（对偶问题）:这个就是我们需要最终优化的式子。至此，得到了线性可分问题的优化式子。求解这个式子，有很多的方法，比如SMO等SVM基本原理线性可分这种假设局限性比较大，接下来谈谈线性不可分的情况：下图就是一个典型的线性不可分的分类图，我们没有办法用一条直线去将其分成两个区域，使每个区域只包含一种颜色的点。线性不可分类型SVM基本原理要想在这种情况下的分类器，有两种方式:第一种:用曲线去将其完全分开SVM基本原理第二种：还是用直线，不过不用去保证可分性，

23、就是包容那些分错的情况，这里我们得加入惩罚函数，使得点分错的情况越合理越好。很多时候，不是在训练的时候分类函数越完美越好，因为训练函数中有些数据本来就是噪声，可能就是在人工加上分类标签的时候出现了错误，如果在训练（学习）的时候把这些错误的点学习到了，那么模型在下次碰到这些错误情况的时候就难免出错。这种学习的时候学到了“噪声”的过程就是一个过拟合（over-fitting）过拟合标准定义：给定一个假设空间H，一个假设h属于H，如果存在其他的假设h