精华SVR

《精华SVR》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、支持向量回来机〔SVR〕支持向量机（SVM）本身是针对经典的二分类问题提出的，支持向量回来机（SupportVectorRegression，SVR）是支持向量在函数回来领域的应用；SVR与SVM分类有以下不同：SVR的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使全部样本点离超平面的“总偏差”最小；这时样本点都在两条边界线之间，求最优回来超平面同样等价于求最大间隔；1.线性支持向量回来机i对于线性情形，支持向量机函数拟合第一考虑用线性回来函数f〔x〕xb拟合〔xi,yi〕,i1,2,...,n，xiRn为输入量，yR为输出量

2、，即需要确定和b；图1-1aSVR结构图图1-1b不灵敏度函数惩戒函数是学习模型在学习过程中对误差的一种度量，一般在模型学习前己经选定，不同的学习问题对应的缺失函数一般也不同，同一学习问题选取不同的缺失函数得到的模型也不一样；标准支持向量机接受-不灵敏度函数，即假设全部训练数据在精度下用线性函数拟合如图（1-1a）所示，yif〔xi〕i*f〔x〕yi1,2,...,n（1.1）iii,*0ii式中，,*是放松因子，当划分有误差时，，*都大于0，误差不存在取0；这时，该iii问题转化为求优化目标函数最小化问题：*1n〕R〔,,*〕2C〔iii1（1.2）*

3、式（1.2）中第一项使拟合函数更为平整，从而提高泛化才能；其次项为减小误差；常数C0表示对超出误差的样本的惩戒程度；求解式（1.1）和式（1.2）可看出，这是一个凸二次优化问题，所以引入Lagrange函数：nL1C〔2i1ii〕ni[ii1yif〔xi〕]（1.3）nn*[*yf〔x〕]〔**〕iiiiiiii*i1i1式中，，*i0，i，i0，为Lagrange乘数，i1,2,...,n；求函数L对，b，ii，*的最小化，对，*，，*的最大化，代入Lagrange函数得到对偶形式，最iiii大化函数：1nW〔,*〕〔*〕〔*〕〔xx

4、〕2i1,j1iijjij（1.4）nn〔*〕y〔*〕iiiiii1i1其约束条件为：*n〕0〔iii1（1.5）0,*Cii求解式（1.4）、（1.5）式其实也是一个求解二次规划问题，由Kuhn-Tucker定理，在鞍点处有：[yf〔x〕]0*[*yf〔x〕]0iiiiiiii00**iiii（1.6）得出i*0，说明，*不能同时为零，仍可以得出：iii〔Ci〕i0**（1.7）〔Ci〕i0*从式（1.7）可得出，当iC，或iC时，f〔xi〕yi可能大于，与其对应的xi称为边界支持向量（BoundarySupportVector，BSV），

5、对应图1-1a中虚线带以外的点；i当*〔0,C〕时，f〔xi〕yi，即i0，i0，与其对应的xi称为支持向量*（SupportVector，SV），对应图1-1a中落在带上的数据点；当i＝0，i＝0时，与其对应的xi为非支持向量，对应图1-1a中带内的点，它们对w没有贡献；因此越大，支持向量数越少；对于标准支持向量，假如0可以求出参数b：iC〔i0〕，此时i0，由式（1.6）byil〔jji1〕xjxiyi〔xjSVjj〕xjxi同样，对于中意0iC〔i0〕的标准支持向量，有byi〔xjSVjj〕xjxi一般对全部标准支持向量分

6、别运算b的值，然后求平均值，即b1{[y*〔〕K〔x,x〕]NNSVijjji0iCxjSV（1.8）[y〔*〕K〔x,x〕]}ijjji*0iCxjSVi因此依据样本点〔xi,yi〕求得的线性拟合函数为f〔x〕nixb〔ii1*〕xxb（1.9）1.非线性支持向量回来机非线性SVR的基本思想是通过事先确定的非线性映射将输入向量映射的一个高维特点空间（Hilbert空间）中，然后在此高维空间中再进行线性回来，从而取得在原空间非线性回来的成效；首先将输入量x通过映射:RnH映射到高维特征空间H中用函数f〔x〕〔x〕b拟合数据〔xi,y

7、i〕，i1,2,...,n；就二次规划目标函数（1.4）式变为：n*1**W〔,〕〔ii〕〔jj〕〔〔xi〕〔xj〕〕2i1,j1nn〔*〕y〔*〕iiiiii1i1（2.1）式（2.1）中涉及到高维特点空间点积运算〔xi〕〔xj〕，而且函数是未知的，高维的；支持向量机理论只考虑高维特点空间的点积运算K〔xi,xj〕〔xi〕〔xj〕，而不直接使用函数；称K〔xi,xj〕为核函数，核函数的选取应使其为高维特点空间的一个点积，核函数的类型有多种，常用的核函数有：多项式核：k〔x,x'〕〔x,x'd〕p,pN,d0;2xx'高斯核：k〔x,

8、x'〕exp〔〕;22'