基于稀疏特征空间的核方法建模研究

《基于稀疏特征空间的核方法建模研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、过程控制化工自动化及仪表，2009，36(4)：3O一32ControlandInstrumentsinChemicalIndustry基于稀疏特征空间的核方法建模研究刘春波，王鲜芳，潘丰(江南大学通信与控制工程学院，江苏无锡214122)摘要：为提高支持向量机在建模方面的拟合性能，针对核函数方法中单个核函数的局限性，尝试融合核支持向量机建模方法以提高模型的泛化能力和精度。为避免在进行核融合时，支持向量机稀疏性的缺失，提出将数据映射到稀疏特征空间进行研究。通过仿真研究表明，所建模型在保证稀疏性的前提下，能较好地提高建模精度，从而验证了算法的

2、有效性。关键词：核函数；支持向量机；稀疏特征空间；建模中图分类号：TM301．2文献标识码：A文章编号：1000-3932(2009)04-0030-031弓l言特征空间支持向量机：f基于结构风险最小化原则，Vapnik给出了一种1min(÷lI+c∑￡)(￡≥0，=12“，f)(1)通用的学习机器——支持向量机(SVM)，其目对二次规划的求解一般转换成对偶规划的求解：标是在VC维的意义下构造“稀疏”模型。与其它学I1．．t习机相比，支持向量机具有良好的推广能力，已经获【÷aaiyj~k()()一a】()得了广泛应用。但MERCER条件限制

3、了支持5．t．∑，，n．=0(0≤a。≤C；i=1，2，⋯，z)向量机核函数的选择。如何选择更有效的核，却又相应的决策函数可表示为：不失支持向量机的稀疏性是一个值得研究的问题。rlI，文中针对此问题进行了相关的研究。特征空间，，=sgnl∑∑()(，)+bl(3)可将支持向量机核函数的选择放松到不需要正定的此学习机器由于不要求核函数正定，它可采用要求，从而扩展了支持向量机核函数的选择范围，不更多的核函数。但不足是由于权重埘不具稀疏性，足之处却是丧失了稀疏性。为了弥补这一不足，采导致特征空间支持向量机在对核函数放宽约束条件用稀疏特征空间的方法

4、来解决这一问题。的同时，损失了其稀疏性。为解决这一不足，可通过2稀疏特征空间的支持向量机在特征空间中将z范数控制的VC维上界适当放宽受前馈神经网络非线性映射能力和函数逼近能的方法解决。由于支持向量机最初是应用到分类问力。’“的启发，考虑将非线性映射的思想引入学习题，下面从分类的角度进行阐述，分类跟回归在本质机的构造过程中。令X=，，⋯，}表示z个独上一样，得出的结论可以借鉴到回归的研究中。立同分布的样本组成集合。定义一个由实值函数集Vapnik提出了关于“m一边界”分离超平面VC合{；()Ii=1，2，⋯，d}构成的向量()=维的如下定理。

5、[()，()，⋯，．()]TO向量()将d维输入引理1令样本矢量ER分布于最小半径为空间上的点映射到一个新的d维空间，即—z：R的一个超球体内，则“m．边界”分离超平面函数[。()，()，⋯，()r。函数集合{()}所集的维数h有如下的上界：起的作用类似于神经网络中的隐单元，故将h≤min([R／mA]，n)+1(4)(X)(=1，2，⋯，d)称为隐函数。相应的空问Z=式中：n——样本的维数；[·]——取小于等于该{I=[。()，2()，⋯，d()]，∈X}称为特数的最大整数。征空间或隐空间。使核函数k(，Y)作为隐函数，令根据这一结论，V

6、apnik引入式(5)的结构风险，=，，⋯，}，基于的相应特征空间可表示构造出优秀的学习机器——支持向量机。为Z：{zlz=[k(xl，)，k(x2，)，⋯，尼(l，)]，∈X}，维数为Z。收稿日期：2009-07-03(修改稿)在特征空间中构造最优分类超平面，可以得到基金项目：“863”国家高科技计划资助项目(2006AA020301)第4期刘春波等．基于稀疏特征空间的核方法建模研究·31·R。(a)=C’R。(a)+l／m^(5)次规划形式为：文献[13]结合凡维线性空间上的向量范数nin—一T一，，的等价性，给出了下面的定理。[i一]

7、+dEwi]c·s引理2给定样本集={(。，，，)，(，Y2)，⋯s．t．tlJ，埘≥0，=0(i=1，2，⋯，f)，(，Y)I(，Y)∈(R，R)}，对于“m一边界”分＼K一KL、离超平面目标函数集，加，b)=。+b，W∈R}，对于样本，机器训练过程采用如下的判决函数：式中：H=l—K—￡I；d=L三—K￡JVy=：』‘【(≥A,A≥0(l6o)J一1(w'r+b≤一△，A≥0)卜，，+L／(2C)]存在一个正常数c，0

8、数集的VC维数h的上界有下面的由KKT条件知，约束=0(i=1，2，⋯，f)不等式成立：在最优点处自动满足，从而求解该优化问题等价于h≤min([c·R·0Il；]，n)+1(7