基于驱动错误准则的svm增量学习研究

《基于驱动错误准则的svm增量学习研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于驱动错误准则的SVM增量学习研究：增量学习广泛运用于人工智能、模式识别等诸多领域，是解决系统在训练初期样本量少而随时间推移性能降低的有效方法。本文针对经典支持向量机当训练样本数量多而运算速度较慢的缺点，在分析支持向量机的基础上，提出基于驱动错误准则的增量学习方法，实验结果表明，该算法不仅能保证学习机器的精度和良好的推广能力，而且算法的学习速度比经典的SVM算法快，可以进行增量学习。　　　　关键词：机器学习；驱动错误准则；SVM；增量学习　　：TP391：A　　　　ResearchofIncrementalLearningAlgorithmBasedo

2、nDriveErrorCriterion　　　　algorithm.Therefore，itcanbeusedinincrementallearning.　　　　Keyachinelearning；driveerrorcriterion；SVM；incrementallearning　　　　1引言　　支持向量机（SVM）[1]是Vapnik等人在统计学习理论的基础上提出的一种普适学习机模型，具有强大的非线性处理能力和良好的推广能力，广泛应用于人工智能、模式识别等诸多领域，目前，SVM越来越受到广泛的重视，形成了国际上的研究热潮[2—3]。机

3、器学习作为人工智能领域的基本问题，许多学习系统在学习初期所能获得的样本量较少，随着时间的推移与样本的不断累积，系统的工作效率降低，这时系统需纳入新增样本进行增量学习提升系统的性能，标准的支持向量机没有增量学习的能力，但其定义的支持向量具有良好的增量学习效果。因此研究有效的支持向量机增量学习方法具有重要的意义[1]。　　Syed[4]对样本集的支持向量进行了分析，提出了一种简单支持向量机增量学习算法。在该算法中，增量训练由SV样本组成，再训练只需要进行一次即可完成，所有的非SV样本点都抛弃。这样减少了计算复杂度，但是忽略了历史样本集的非SV最终可能成为

4、支持向量的问题。赵耀红[5]等人提出将违背Karush.Kuhn.Tucker（KKT）条件的样本和SV集一起训练的新算法，更能体现样本的分布状态对学习结果的影响。该算法分别对样本和新增样本训练得到分类器T1、T2和支持向量集SV1、SV2，在历史样本中找到违背T2的KKT条件的样本，加入到SV1、SV2一起训练得到最终分类器。该算法虽然比Syed的分类精度提高了2个百分点左右，但训练时间没有明显减少，需要占用大量内存空间，文献[6—8]中也分别介绍了几种SVM增量学习算法，文献[9]对SVM增量学习的研究进行了总结和分析。通过总结与归纳，这些算法都存在一

5、个共同的特征即需要对过多的历史样本进行学习，需要大量的存储空间，直接影响到后继增量学习的效率。如何从历史样本集和新增样本集中提取少而有价值的样本，而非全部样本进行训练，是个值得研究的问题。　　本文在上述研究的基础上，提出了基于错误驱动的增量学习算法。实验结果表明本文的算法不仅保证了学习机器的精度，而且显著地提高了学习的速度，具有良好的推广能力。　　2问题的描述　　2.1支持向量机及KKT条件[10]　　支持向量机最早由线性情况下的分类问题而来，利用支持向量机分类的目的就是要寻找最优超平面，最优超平面就是最大间隔超平面，即在将两类样本正确分类的同时，使

6、得分类间隔最：增量学习广泛运用于人工智能、模式识别等诸多领域，是解决系统在训练初期样本量少而随时间推移性能降低的有效方法。本文针对经典支持向量机当训练样本数量多而运算速度较慢的缺点，在分析支持向量机的基础上，提出基于驱动错误准则的增量学习方法，实验结果表明，该算法不仅能保证学习机器的精度和良好的推广能力，而且算法的学习速度比经典的SVM算法快，可以进行增量学习。　　　　关键词：机器学习；驱动错误准则；SVM；增量学习　　：TP391：A　　　　ResearchofIncrementalLearningAlgorithmBasedonDriveErrorC

7、riterion　　　　algorithm.Therefore，itcanbeusedinincrementallearning.　　　　Keyachinelearning；driveerrorcriterion；SVM；incrementallearning　　　　1引言　　支持向量机（SVM）[1]是Vapnik等人在统计学习理论的基础上提出的一种普适学习机模型，具有强大的非线性处理能力和良好的推广能力，广泛应用于人工智能、模式识别等诸多领域，目前，SVM越来越受到广泛的重视，形成了国际上的研究热潮[2—3]。机器学习作为人工智能领域的

8、基本问题，许多学习系统在