支持向量机ppt课件.ppt

《支持向量机ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、支持向量机分析与实例应用动态分析与测试期末汇报2021/9/81汇报提纲1.支持向量机概述2.线性支持向量机3.非线性支持向量机4.支持向量机核函数支持向量机分析与应用21.支持向量机概述支持向量机（SVM，SupportVectorMachines）是由Vapnik等人提出的一种基于统计学习理论的机器学习算法。其基本思想为：通过寻找两个最优的分类线，使其能够正确的划分两类数据，并保证分类间隔最大。现有的支持向量机可分为两种：一种是支持向量分类机（SVC，SupportVectorClassification），主要用来解决分类问题

2、;另一种是支持向量回归机（SVR，SupportVectorRegression）。31.支持向量机概述支持向量机是基于统计学习理论一种具有严格数学理论基础和直观集合解释的新型机器学习方法，在处理不均匀性、离散性、稀少性等特点突出的测录井小样本数据学习问题上具有独到的优越性。相比其他算法在以下几个方面具有更大优势：1.支持向量机结构简单，功能强大，运算之前不需要确定隐含层节点个数，可以根据实际问题的需要而自动调节规模。41.支持向量机概述2.支持向量机模型适用于样本数量有限的情况，它所求得的结果是在现有信息下的最优解，而不是样本数据

3、无穷大时的最优解，故支持向量机更适合于数据有限的情况下进行聚类分析；3.支持向量机模型最终所需解决问题转化成为二次型寻优的问题，故其避免了在神经网络中的局部极值问题，求得的将是全局最优点，同时解决了由于工程或地质因素造成的非正常数据对最终聚类结果的影响；51.支持向量机概述4.支持向量机模型通过非线性变换将样本数据转换到高维的特征空间，通过在高维空间中构造线性判别函数来非线性判别函数，它的这一特殊性使得支持向量机模型具有较好的推广能力，并且其算法复杂度与样本数据维数无关，从而同时巧妙地解决了维数问题。62.线性支持向量机线性可分的情

4、况：假如说，我们令黑色的点=-1，白色的点= +1，直线f(x)=w.x+b，这儿的x、w是向量，其实写成这种形式也是等价的f(x)=w1x1+w2x2…+wnxn+b,当向量x的维度=2的时候，f(x)表示二维空间中的一条直线，当x的维度=3的时候，f(x)表示3维空间中的一个平面，当x的维度=n>3的时候，表示n维空间中的n-1维超平面。72.线性支持向量机我们令黑色白色两类的点分别为+1,-1，所以当有一个新的点x需要预测属于哪个分类的时候，我们用sgn(f(x))，就可以预测了，sgn表示符号函数，当f(x)>0的时候，sg

5、n(f(x))=+1,当f(x)<0的时候sgn(f(x))=–1。但是在众多划分直线中应该如何取得最优的划分直线f(x)?82.线性支持向量机划分原则：让这条直线到给定样本中最近的点最远第一种分法：第二种分法：92.线性支持向量机这两种分法哪种更好呢？从直观上来说，就是分割的间隙越大越好，把两个类别的点分得越开越好。就像我们平时判断一个人是男还是女，就是很难出现分错的情况，这就是男、女两个类别之间的间隙非常的大导致的，让我们可以更准确的进行分类。在SVM中，称为MaximumMarginal，是SVM的一个理论基础之一。选择使得间

6、隙最大的函数作为分割平面是由很多道理的，比如说从概率的角度上来说，就是使得置信度最小的点置信度最大（听起来很拗口），从实践的角度来说，这样的效果非常好，等等。102.线性支持向量机上图就是一个对之前说的类别中的间隙的一个描述。ClassifierBoundary就是f(x)，红色和蓝色的线（plusplane与minusplane）就是supportvector所在的面，红色、蓝色线之间的间隙就是我们要最大化的分类间的间隙。112.线性支持向量机由两条平行线之间的距离公式可得：另外支持向量位于wx+b=1与wx+b=-1的直线上，我

7、们在前面乘上一个该点所属的类别y，就可以得到支持向量的表达式为：y(wx+b)=1，这样就可以更简单的将支持向量表示出来了。故转化为在一定的约束条件下求极值的问题，即：123.非线性支持向量机针对上述的极值问题，我们可以采用拉格朗日乘子法求极值，这里直接作出这个式子的拉格朗日目标函数：求解这个式子的过程需要拉格朗日对偶性的相关知识，并且有一定的公式推导。经过一系列的数学推导之后便可得到最终的优化式子如下：13线性不可分的情况：一种是用曲线去将其完全分开，曲线就是一种非线性的情况，跟之后将谈到的核函数有一定的关系，划分图形如下：3.非

8、线性支持向量机14另外一种还是用直线，不过不用去保证可分性，就是包容那些分错的情况，不过我们得加入惩罚函数，使得点分错的情况越合理越好。我们可以为分错的点加上一点惩罚，对一个分错的点的惩罚函数就是这个点到其正确位置的距离：3.非线性支