基于核函数的非线性支持向量机.pdf

《基于核函数的非线性支持向量机.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、科技展望2017/01基于核函数的非线性支持向量机12张立王渊民(1．乐山师范学院数学与信息科学学院，四川乐山614000;2．乐山职业技术学院电子信息工程系，四川乐山614000)【摘要】线性分类支持向量机在普通的线性分类问题中，是一种十分常用的核函数有以下几种形式如表1:有效的方法。但是，在实际应用中有很多分类问题都是非线性的，因表1常用的4种核函数类型和表达式此需要非线性的支持向量机来进行更准确更合理的分类。本文主要核函数类型表达式叙述了基于核技巧的非线性支持向量机的理论和算法问题。线性核函数K(x，xi)=x·xi【关键词】非线性分类支持向量机核函数

2、pP阶多项式核函数K(x，xi)=［(x·xi)+1］21非线性分类问题‖x－xi‖高斯径向基函数(ＲBF)核函数K(x，xi)=exp(－σ2)所谓非线性分类问题，就是需要利用非线性模型才能进行合理分类的问题。如图1，这是一类分类问题，图中“·”，“×”分别多感多层感知器核函数核K(x，xi)=tanh［v(x·xi)+c］表示表正实例点和负实例点。由图可以看出，直线(相当于线性模3非线性支持向量分类机型)是无法较好的分开将正负实例，但如果利用一条椭圆曲线(相利用核函数，可以将线性分类的学习方法应用到非线性分类当于非线性模型)就可以将其正确的分离开来。问题

3、中去。将线性支持向量机对偶形式中的内积函数替换成合适T={(x1，y1)，(x2，y2)，…，(xn，yn)}是一个数据集，实例xi∈的核函数，线性支持向量机就扩展成为非线性支持向量机。nX=Ｒ属于输入空间，与之相对应的标记有两类yi∈Y={－1，+定义1:从非线性分类训练集，通过核函数与软间隔最大化，n1}，i=1，2，…，N。如果在Ｒ中存在一个超曲面能够有效的将正或凸二次规划，学习得到的分类决策函数负例准确的分开，那么这个问题就称之为非线性可分问题。N**f(x)=sign(∑αiyiK(x，xi)+b)(3)求解非线性问题通常比较困难，因此通常采用一个

4、非线性变i=1称为非线性支持向量，K(x，z)是正定核函数。换将非线性问题转化为线性问题，之后再利用线性的方法求解原非线性支持向量机学习算法:来的非线性问题。图1中的例子就是通过将椭圆变换成直线，进而将非线性问题变换成线性问题。输入:训练数据集T={(x1，y2)，(x2，y2)，…，(xN，yN)}，其中n用线性分类方法来解决非线性分类问题通常分为以下两步:xi∈X=Ｒ，yi∈Y={－1，+1}，i=1，2，…，N;第一步:将原空间的数据通过变换映射到一个新的特征空间;输出:分类决策函数。(1)选取适当的核函数K(x，z)和适当的参数C，构造并求解第二步:

5、在新的特征空间里用线性分类的方法从训练数据中最优化问题学习分类模型。NNN1min∑∑αiαjyiyjK(xi，yj)－∑αiα2i=1j=1j=1NS．t．∑αiyi=0(4)j=10≤αi≤C，i=1，2，…，N****求得最优解α=(α1，α2，…，αN)。**图1非线性问题转换为线性问题(2)选择α的一个正分量0≤αj≤C，计算N2核函数**b=yi－∑α1yiK(xi，xj)(5)核函数在严格的统计分析基础之上建立的，在核函数构造的i=1特征空间中我们可以用线性模型来处理非线性的问题，从而将线(3)构造决策函数N性学习与非线性学习连接起来。f(x)

6、=sign**(6)(∑αiyiK(x，xi)+b)(x，x)→K(x，x)=Φ(x)·Φ(x)(1)i=1ijijij上式中xi和为原始输入xj数据。核方法的基本思路:将高维4结语特征空间中的内积运算(xi，xj)用低维训练样本空间中的函数运本文主要介绍了在核函数给定的条件下，无需显式的定义特算来代替。传统的非线性变换中内积变换函数Φ(·)十分的复征空间和映射函数，仅利用核技巧在特征空间进行隐性的学习，进杂，计算效率较低，因此在实际应用中不常被采用。核函数K(·，而使用成熟的解线性分类问题的方法来求解非线性分类问题的非·)的出现大大的减少了在实际的运算过程

7、中的计算复杂度，正因线性支持向量机。但在实际应用中，我们需要依赖领域知识来选为如此，核函数在许多领域得到了广泛的应用。择核函数，这是在非线性支持向量机中值得进一步研究的一个重核函数必须满足Mercer条件:对于任意给定的n×n的函数K点问题。(xi，xj)，当xj固定时K(xi，xj)作为xi的函数属于Hilbert空间，而且对于任意不恒为0的函数g(x)满足:参考文献:［1］尹传环，牟少敏，田盛丰，黄厚宽．单类支持向量机的研究进2∫g(x)dx＜∞，展［J］．计算机工程与应用，2012(12)．［2］王云英，阎满富．C－支持向量机及其改进［J］．唐山师范学

8、院存在∫K(x，y)g(x)g(y)dxdy≥0学报