SVM支持向量机算法概述ppt课件.ppt

《SVM支持向量机算法概述ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、支持向量机（SupportVectorMachine）算法概述沈新蕊OutlineSVM的理论基础线性判别函数和超平面间隔与几何间隔核函数与松弛变量SVM的理论基础支持向量机(SupportVectorMachine)是Cortes和Vapnik于1995年首先提出的，从诞生至今才10多年，发展史虽短，但其理论研究和算法实现方面却都取得了突破性进展，有力地推动机器学习理论和技术的发展。这一切与支持向量机具有较完备的统计学习理论基础的发展背景是密不可分的。它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。SVM支持向量机支

2、持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（或称泛化能力）。VC维VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC维越高，一个问题就越复杂。正是因为SVM关注的是VC维，SVM解决问题的时候，和样本的维数是无关的。结构风险最小机器学习本质上就是一种对问题真实模型的逼近，真实模型一定是不知道的，那么我们选择的假设与问题真实解之间究竟有多大差距，我们就没法得知。这个与问题真实

3、解之间的误差，就叫做风险（更严格的说，误差的累积叫做风险）。我们选择了一个假设之后，真实误差未知，但我们可以用某些可以掌握的量来逼近它。最直观的想法就是使用分类器在样本数据上的分类的结果与真实结果之间的差值来表示。这个差值叫做经验风险Remp(w)。结构风险最小以前的机器学习方法都把经验风险最小化作为努力的目标，但后来发现很多分类函数能够在样本集上轻易达到100%的正确率，在真实分类时却一塌糊涂（即推广能力差，或泛化能力差）。此时的情况便是选择了一个足够复杂的分类函数，能够精确的记住每一个样本，但对样本之外的数据一律分类错误。此原则适用的大前提是经验风险要确实能够逼近真实风险

4、才行，但实际上能逼近么？不能，因为样本数相对于现实世界要分类的文本数来说简直九牛一毛，经验风险最小化原则只在这占很小比例的样本上做到没有误差，当然不能保证在更大比例的真实文本上也没有误差。泛化误差界统计学习因此而引入了泛化误差界的概念，就是指真实风险应该由两部分内容刻画，一是经验风险，代表了分类器在给定样本上的误差；二是置信风险，代表了我们在多大程度上可以信任分类器在未知文本上分类的结果。显然，第二部分是没有办法精确计算的，因此只能给出一个估计的区间，也使得整个误差只能计算上界，无法计算准确的值（所以叫做泛化误差界，而不叫泛化误差）。置信风险与两个量有关，一是样本数量，显然给

5、定的样本数量越大，我们的学习结果越有可能正确，此时置信风险越小；二是分类函数的VC维，显然VC维越大，推广能力越差，置信风险会变大。泛化误差界泛化误差界的公式为：R(w)≤Remp(w)+Ф(n/h)公式中R(w)就是真实风险，Remp(w)就是经验风险，Ф(n/h)就是置信风险。统计学习的目标从经验风险最小化变为了寻求经验风险与置信风险的和最小，即结构风险最小。SVM正是这样一种努力最小化结构风险的算法。其它概念小样本，并不是说样本的绝对数量少，而是说与问题的复杂度比起来，SVM算法要求的样本数是相对比较少的。非线性，是指SVM擅长应付样本数据线性不可分的情况，主要通过松弛

6、变量（也叫惩罚变量）和核函数技术来实现，这一部分是SVM的精髓。关于文本分类这个问题究竟是不是线性可分的，尚没有定论，因此不能简单的认为它是线性可分的而作简化处理，先当它是线性不可分的（反正线性可分也不过是线性不可分的一种特例）。其它概念高维模式识别是指样本维数很高，例如文本的向量表示，如果没有经过降维处理，出现几万维的情况很正常，其他算法基本就没有能力应付了，SVM却可以，主要是因为SVM产生的分类器很简洁，用到的样本信息很少（仅仅用到那些称之为“支持向量”的样本），使得即使样本维数很高，也不会给存储和计算带来大麻烦。线性判别函数和超平面线性分类器是最简单也很有效的分类器形

7、式。在一个线性分类器中，可以看到SVM形成的思路并接触很多SVM的核心概念。用一个二维空间里仅有两类样本的分类问题来举例。如下图所示：线性函数C1和C2是要区分的两个类别，在二维平面中它们的样本如上图所示。中间的直线就是一个分类函数，它可以将两类样本完全分开。一般的，如果一个线性函数能够将样本完全正确的分开，就称这些数据是线性可分的，否则称为非线性可分的。线性函数什么叫线性函数呢？在一维空间里就是一个点，在二维空间里就是一条直线，三维空间里就是一个平面，如果不关注空间的维数，这种线性函数还有一个统一的名