一种支持向量机的样本约简方法

《一种支持向量机的样本约简方法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、文章编号：2095-1248（2016）03-0063-04信息科学与工程一种支持向量机的样本约简方法张国栋，肖娅，周炬，郭薇（沈阳航空航天大学计算机学院，沈阳110136）摘要：支持向量机算法求解会涉及矩阵的存储与运算，因此算法的时空复杂度较大，这些不足之处限制了支持向量机的应用。为提高支持向量机的训练速度，缩短训练时间，提出一种样本约简方法。该方法通过两次样本约简，剔除掉大部分非边界样本，保留少数且有效的样本作为训练集。然后，采取ＫＮＮ算法去除约简后训练集中的孤立点和噪音点。最后，对ＵＣＩ标准数据集中的Ｂｒｅａｓｔ-Ｃａｎｃｅｒｓ数据进行实验，支持

2、向量减少了25个，训练时间减少了7ｍｓ，而准确率却得到了提高。实验结果表明，在保证预测精确度的前提下，该算法能够有效进行样本约简，缩短训练时间。关键词：样本约简；支持向量机；边界样本；核函数；ＫＮＮ中图分类号：ＴＰ391.41文献标志码：Ａdoi：10．3969／ｊ．ｉｓｓｎ．2095-1248．2016．03．010MethodofsamPlereductionforSuPPortVectorMachineＺＨＡＮＧＧｕｏ-ｄｏｎｇ，ＸＩＡＯＹａ，ＺＨＯＵＪｕ，ＧＵＯＷｅｉ（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＳｈｅｎｙａｎｇＡｅｒｏｓ

3、ｐａｃｅＵｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｙａｎｇ110136，Ｃｈｉｎａ）Abstract：ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（ＳＶＭ）ｉｎｖｏｌｖｅｓｔｈｅｓｔｏｒａｇｅａｎｄｃａｌｃｕｌａｔｉｏｎｏｆｔｈｅｍａｔｒｉｘ．Ｔｈｅｒｅｆｏｒｅ，ｔｈｅｈｕｇｅｓｐａｃｅａｎｄｔｉｍｅｉｎｖｏｌｖｅｄｌｉｍｉｔｔｈｅａｐｐｌｉｃａｔｉｏｎｏｆＳＶＭ．Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｔｒａｉｎｉｎｇｓｐｅｅｄａｎｄｓａｖｅｓｔｏｒａｇｅｓｐａｃｅ，ｔｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｅｄａｍｅｔｈｏｄｔｏｒｅｄｕｃｅｔｈｅｎｕｍｂｅｒｏｆｔｈｅｔｒａｉ

4、ｎｉｎｇｄａｔａ．Ｆｉｒｓｔｌｙ，ｔｈｅｍｅｔｈｏｄｒｅ-ｍｏｖｅｄｍｏｓｔｏｆｔｈｅｎｏｎ-ｂｏｕｎｄａｒｙｓａｍｐｌｅｓａｎｄｋｅｅｐｓｏｎｌｙａｆｅｗｓａｍｐｌｅｓａｓｔｒａｉｎｉｎｇｄａｔａｂｙｔｗｏｓｔｅｐｓｒｅｄｕｃ-ｔｉｏｎ．Ｔｈｅｎ，ＫＮＮｗａｓｕｓｅｄｔｏｒｅｍｏｖｅｓｏｍｅｎｏｉｓｅ．Ｂｒｅａｓｔ-ＣａｎｃｅｒｓｏｆＵＣＩｓｔａｎｄａｒｄｄａｔａｓｅｔｓｗｅｒｅｅｍｐｌｏｙｅｄｔｏｅｖａｌｕａｔｅｏｕｒｍｅｔｈｏｄ．Ｔｗｅｎｔｙ-ｆｉｖｅｄａｔａｗｅｒｅｒｅｍｏｖｅｄｆｒｏｍｔｈｅｓｅｔｏｆｓｕｐｐｏｒｔｖｅｃｔｏｒｓａｎｄｔｈｅｔ

5、ｒａｉｎｉｎｇｔｉｍｅｗａｓｄｅｃｒｅａｓｅｄｂｙ7ｍｓ，ｗｈｉｌｅｔｈｅａｃｃｕｒａｃｙｏｆｃｌａｓｓｉｆｉｃａｔｉｏｎｈａｓｉｍｐｒｏｖｅｄ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｈｏｗｓｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｃａｎｅｆｆｅｃｔｉｖｅｌｙｒｅｄｕｃｅｔｈｅｎｕｍｂｅｒｏｆｔｒａｉｎｉｎｇｄａｔａ，ａｎｄｄｅｃｒｅａｓｅｔｈｅｔｒａｉｎｉｎｇｔｉｍｅｗｉｔｈｔｈｅｉｎｃｒｅａｓｅｉｎｔｈｅａｃｃｕｒａｃｙｏｆｃｌａｓｓｉｆｉｃａｔｉｏｎ．Keywords：ｓａｍｐｌｅｒｅｄｕｃｔｉｏｎ；ＳＶＭ；ｂｏｕｎｄａｒｙｓａｍｐｌｅ；

6、ｋｅｒｎｅｌｆｕｎｃｔｉｏｎ；ＫＮＮ支持向量机（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ，ＳＶＭ）论发展而来，它在人脸识别、目标跟踪、工业检测、［1-2］算法是根据Ｖａｐｎｉｋ等人提出的统计学习理网络入侵检测等领域都取得了很好的应用效收稿日期：2015-11-03基金项目：国家自然科学基金（项目编号：61373088），国家自然科学基金（项目编号：61402298），航空基金（项目编号：2013ＺＥ54025）作者简介：张国栋（1972-），男，黑龙江牡丹江人，教授，主要研究方向：医学图像处理，Ｅ-ｍａｉｌ：ｚｈａｎｇｇｄ@ｓａｕ．ｅｄｕ．ｃｎ。64沈

7、阳航空航天大学学报第33卷［3-7］果。但ＳＶＭ的本质是求解数学上的凸二次拉格朗日乘子，就变为求解两个变量的优化问题。［11］规划问题，涉及矩阵的存储和运算操作。因此，算（2）基于边界样本选取的思想。李青等人法的时空复杂度较大，这影响了ＳＶＭ的运算效提出一种基于向量投影的支持向量预选取方法。［12］率以及在大规模数据上的应用。目前，相关研究Ｓｈｉｎ等人提出了一种基于ＫＮＮ算法的支持向［13］学者分别从如下两个角度提高ＳＶＭ的训练速量预选取方法。汪西莉等人提出了一种利用度，缩短训练时间：马氏距离选取支持向量（ＳＶ）的方法改进ＳＶＭ。［8］（1）基于分解的

8、思想。Ｖａｐｎｉｋ等人在本文提出一种支持向量机的样本约简方法。1995年提出选块算法，其思想是