支持向量机集成方法的研究

《支持向量机集成方法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要摘要V.Vapnik领导的AT&Tbell实验室研究小组从上世纪60年代开始就致力于有限样本统计理论的研究，并将这一理论称为统计学习理论（StatisticalLearningTheory,SLT）。支持向量机（SupportVectorMachine,SVM）是一种基于统计学习理论的模式识别方法，它建立在VC维（Vapnik-ChervonenkisDimension）理论和结构风险最小化原理基础上，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，目前已在许多领域得到了成功的应用。自20世纪90年代后，集成学习（EnsembleLear

2、ning）逐渐成为机器学习新的研究方向，集成学习是一种可以有效地提高机器学习泛化能力的多学习器学习方法。选择性集成在较小的集成规模下，可以获得很好的泛化性能。选择性集成的主要目标是保留部分差异性大的个体参与集成。目前，关于差异性的研究，主要集中在两个方面，一是寻找合适的度量方法；二是如何利用此种方法提高集成学习的性能。本文研究了基于支持向量机分类器的差异性度量和选择性集成学习方法。目前已有的差异性研究主要是利用个体在验证集上的分类结果来度量，这些方法在一定程度上受验证集的影响，差异性大往往预示着个体间的预测正确率差距也大，使得这些度量方法在选择集成个体时不

3、能充分发挥作用。由于支持向量机具有简洁的数学形式，因此可以从判别函数出发寻找差异性。首先，针对支持向量机分类器，提出了一种基于支持向量而非分类预测结果的差异性度量方法，并且采用聚类技术提高集成学习的差异性，通过实验研究了此种方法的性能，并进一步研究了个体差异性与集成性能间的关系。在前面研究的基础上，提出了一种基于子图的选择性分类器集成构造方法。通过使用支持向量机作为基学习器，并在多个分类数据集上进行实验，表明此算法在一定程度上优于传统的AdaBoost集成和目前已有的部分集成个体选择算法。最后，探讨了多类支持向量机的差异性度量和选择性集成学习方法。关键词支

4、持向量机集成学习选择性集成差异性IAbstractAbstractAteamofresearchersledbyV.VapnikatAT&Tbelllaboratory,startedthestudyofasmallstatisticsfromthesixtieslastcentury,andpropoundedStatisticalLearningTheory(SLT).SupportVectorMachine(SVM)isanewpatternrecognitionmethoddevelopedinrecentyearsbasedonSLT.SVMba

5、sedontheprinciplesofVC(Vapnik-Chervonenkis)dimensionandstructureriskminimization,andshowstheadvantagesofcapabilityindealingwithscaredsamples,nonlinearandhighdimensions.SVMhassuccessfulapplicationintextclassification,imagerecognitionandbiologicalinformationprocessing.Sincethenineti

6、eslastcenturyensemblelearninghasbecomethefocusofresearchinmachinelearning.Theexperimentalmeasurementresultsindicatethattheselectiveensemblecanachievecomparativelygoodgeneralizationabilityundertheconditionofarelativelysmallensemblesize.Themainobjectiveofselectiveensembleisretaining

7、basedlearnerswithlargediversitytoensemble.Atpresent,researchesonthediversityfocusedtwoareas,thefirstistofindasuitablemeasureofdiversity,andthesecondishowtoenhanceensemblelearningperformancewiththismeasure.ThispaperdealswiththemeasuresofdiversityandselectiveensemblebasedonSVM.Dueto

8、simpleformation,diversityofSVMcan