非凸共轭梯度p范数正则化SVM分类算法

《非凸共轭梯度p范数正则化SVM分类算法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据第31卷第3期2013年9月广西师范大学学报：自然科学版JournalofGuangxiNormalUniversity：NaturalScienceEditionVol，3lNo．3Sept．2013非凸共轭梯度P范数正则化SVM分类算法左信，黄海龙，刘建伟(中国石油大学(北京)自动化研究所。北京102249)摘要：经典的户范效支持向量枧分类算法的正则化阶次P往往被选定为o、1或2。但是通过大量的实验可知，户取0、1或2的分类效果并不一定是最佳的。针对不同的数据使用不同的正则化阶次，可以改进分类算法的预测准确率。刘建伟等从目前迭代再权的思想出发讨论了p范数正则‘匕支持向量机同题。

2、但由于每次求解的均是原同题的近似问题，因而得到的解是近似解。从最优化角度出发，应用非凸共轭梯度算法求解0

3、[3．引。LiuYu—feng提出了组合LQ、乙1范数组成复合罚函数的SVM分类和回归算法‘引，同时提出根据数据特性选择L1、L2范数的SVM分类算法[8]。以上文献均对某一种范数正则化阶次分类算法进行研究，但根据我们的实验研究，在不同的数据上SVM的分类准确率随正则化阶次不鼠两不同，正则化阶次P可能不局限于0、1或者2。因此，取值范围0

4、p≤2不同范数正则化的分类算法，仍然未完全解决。由于多>1时原问题尚可转化为二次规划问题进行求解，但是，当0

5、，克服了最速下降法收敛速度慢的缺点，又避免了牛顿法需要存储和计算Hessen矩阵并求逆的缺点，具有收敛速度快、存储空间小的特点。Fletcher和Reevse最先提出了将这种处理二次规划问题的共轭梯度方法推广到非凸非线性优化问题。本文将这种扩展的非凸共轭梯度算法应用到p范数正则化支持向量机目标函数求解的问题上，把提出的算法分别应用于基于铰链损失的SVM问题、基于最小二乘损失的SVM阕题积基于逻辑斯蒂损失的SVM问题，高维小样本癌症数据集实验证明，提出的算法能求解非凸优化问题，取得了良好的预测效果，收稿日期；2013一O毒一20基金项目：国家自然科学基金资助项目(21006127)}中国石油

6、大学(北京)基础学科研究基金资助项目(JCXK一2011—07)通信联系人：左信(1964)，男。安徽池州人，中国石油大学(北京)教授。E—mail：zuox@，cup．edu．cn万方数据52广西师范大学学报：自然科学版第31卷并且使用更少的运行时间。13种P范数正则化SVM分类器最早的支持向量机是由Vapnik提出的，目标函数以及约束条件如式(1)所示：哮专Ilwll2，(1)Ⅳ．6厶＼1／S．t．Yf((w，Xf)+6)≥1，i=1，2，⋯，优。我们称式(1)所示支持向量机为标准的L2一SVM，因为它的目标函数是权值的二范数。后来，人们又提出了加入损失函数的支持向量机的变种，典型的损

7、失函数包括铰链损失、最小二乘损失、逻辑斯蒂损失等等。本文将使用CG—LP—SVM算法对3种引入损失函数的支持向量机变种进行求解，以下3小节将介绍这3种支持向量机。1．1基于铰链损失的支持向量机假定样本为{(嚣，肌)Ix。∈X,yi∈{一1，+1))，模型向量为_I．，=(们。，WZ，⋯，叫。)T，其中，m为样本的个数，推为样本的维数。那么，基于铰链损失的SVM的目标函数可以写为哑n，2古{j，．，jJ；+嘉善L(·)，‘