[计算机硬件及网络]支持向量机

《[计算机硬件及网络]支持向量机》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、支持向量机引导孙宗宝2006年12月20日哈尔滨理工大学网络信息中心学术交流7/20/20211哈尔滨理工大学网络信息中心支持向量机引导孙宗宝2006年12月20日哈尔滨理工大学网络信息中心学术交流7/20/20212哈尔滨理工大学网络信息中心内容提要概述线性可分情况理论线性不可分情况支持向量机模型核函数支持向量机网络7/20/20213哈尔滨理工大学网络信息中心SVM简介90年代中期在统计学习理论的基础上发展起来的一种机器学习方法(Boser,Guyon,Vapnik)适合有限样本(小样本)问题在很大程度上解决了传统方法（如神经网络）中存在的问题，如过学习、

2、非线性、多维问题、局部极小点问题等统计学习理论和支持向量机被视为机器学习问题的一个基本框架，传统的方法都可以看作是SVM方法的一种实现有坚实的理论基础和严格的理论分析7/20/20214哈尔滨理工大学网络信息中心概述一、向量的内积与超平面7/20/20215哈尔滨理工大学网络信息中心概述二、最优分类平面7/20/20216哈尔滨理工大学网络信息中心概述二维数据最优分类线的基本要求：1、要能将两类样本无错误的分开即使经验风险最小，理论上为零2、要使两类之间的距离最大也就是使margin最大，从而使实际风险最小7/20/20217哈尔滨理工大学网络信息中心概述我们

3、要做的是什么呢？找到一个超平面(最优分类面)，使得它能够尽可能多的将两类数据点正确的分开，同时使分开的两类数据点距离分类面最远。7/20/20218哈尔滨理工大学网络信息中心HH2H1最优分类平面为最优分类平面的方程7/20/20219哈尔滨理工大学网络信息中心SVM原理之线性可分设线性可分样本集为(xi,yi),i=1,2,…,n,x∈Rd,y∈{+1,-1}是类别标号。则d维空间中线性判别函数的一般形式为:g(x)=w·x+b分类面方程为:w·x+b=0(1)7/20/202110哈尔滨理工大学网络信息中心SVM原理之线性可分将判别函数进行归一化,使两类所

4、有样本都满足

5、g(x)

6、≥1,即,使离分类面最近的样本的

7、g(x)

8、=1,这样分类间隔就等于2/‖w‖,因此间隔最大等价于使‖w‖(或‖w‖2)最小;而要求分类线对所有样本正确分类,就是要求其满足:yi[(w·xi)+b]-1≥0,(i=1,2,…,n)(2)7/20/202111哈尔滨理工大学网络信息中心SVM原理之线性可分我们解决这样问题的思路是什么呢？首要的就是设法找到解决问题的数学模型！我们的问题是：找到满足上述式（2）、且使‖w‖2的分类面。其实这个分类面就是最优分类面！7/20/202112哈尔滨理工大学网络信息中心SVM原理之线性可分支持向量（S

9、V）在那呢？能使式（2）yi[(w·xi)+b]-1≥0,(i=1,2,…,n)中等号成立的，也就是位于margin上的样本就是支持向量。7/20/202113哈尔滨理工大学网络信息中心SVM原理之线性可分最优分类平面求解的数学模型我们的求解过程显然是一个有约束条件的优化问题：即在式(2)的约束下,求函数:φ(w)=1/2‖w‖2=1/2(w·w)(3)的最小值。7/20/202114哈尔滨理工大学网络信息中心SVM原理之线性可分求解方法---Lagrange乘子法什么是Lagrange乘子法？看一个例子。问题：给你一块面积固定（等于a的平方）板子，问做成什么

10、样的长方体（盒子），它具有最大的体积。7/20/202115哈尔滨理工大学网络信息中心SVM原理之线性可分Lagrange乘子法设长方体的三个棱长为x，y，z，则其体积f为三个边长的乘积：f(x,y,z)=xyz本问题要求表面积为a的平方，于是长方体的6面的面积可以写成：2xy+2xz+2yz=a2即2xy+2xz+2yz-a2=0这个问题转化为了有约束条件的优化问题。7/20/202116哈尔滨理工大学网络信息中心SVM原理之线性可分Lagrange乘子法解题方法为：1用拉格朗日方法制造一个新函数F2在F中放进一个未知的常数C得到：F=xyz+C(2xy+2

11、xz+2yz-a2)7/20/202117哈尔滨理工大学网络信息中心SVM原理之线性可分Lagrange乘子法F对x，y，z的三个自变量的偏微分分别为零，得到三个新方程式：yz+2C(y+z)=0xz+2C(x+z)=0xy+2C(x+y)=0因为自变量仅可能是正数，把上面的式子相除得(x/y)=(x+z)/(y+z)(y/z)=(x+y)/(x+z)7/20/202118哈尔滨理工大学网络信息中心SVM原理之线性可分Lagrange乘子法由此得出只有各个自变量的值相等才可以维持上面的关系，再由约束条件得到它们的值是：x=y=z=(a/√6)7/20/2021

12、19哈尔滨理工大学网络信息中心SVM原