支持向量机多类分类算法的研究

《支持向量机多类分类算法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ClassifiedIndex：TP391．4DissertationfortheMasterDegreeinEngineeringTheStudyofSupportVectorMachineMulticlassClassificationCandidate：Supervisor：DingRanHuangJinjieAcademicDegreeAppliedfor：MasterofEngineeringSpecialty：DateofOralExamination：University：PatternRecognitionandIntelligent

2、SystemMarch，2012HarbinUniversityofScienceandTechnology哈尔滨理工大学硕士学位论文原创性声明本人郑重声明：此处所提交的硕士学位论文《支持向量机多类分类算法研究》，是本人在导师指导下，在哈尔滨理工大学攻读硕士学位期间独立进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含他人已发表或撰写过的研究成果。对本文研究工作做出贡献的个人和集体，均已在文中以明确方式注明。本声明的法律结果将完全由本人承担。作者签名：1争善EI裳J"劢／2年；月n日哈尔滨理工大学硕士学位论文使用授权书《支持向量机多类分

3、类算法研究》系本人在啥尔滨理工大学攻读硕士学位期间在导师指导完下成的硕士学位论文。本论文的研究成果归哈尔滨理工大学所有，本论文的研究内容不得以其它单位的名义发表。本人完全了解哈尔滨理工大学关于保存、使用学位论文的规定，同意学校保留并向有关部门提交论文和电子版本，允许论文被查阅和借阅。本人授权哈尔滨理工大学可以采用影印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内容。本学位论文属于保密口，在年解密后适用授权书。不保密团。(请在以上相应方框内打√)作者签名：-r湫日期：沙序年弓月佗日v、0L’别币微：专铋、日期：沙肛年≥月n日哈尔滨理工大学工学

4、硕士学位论文支持向量机多类分类算法研究摘要支持向量机(SVM)为一种由Vapnik等人研发出的机器学习方法，是面向小样本进行学习而提出的方法。它在统计学习理论的基础上发展而来，由于继承了其结构风险最小化准则和VC维理论，可以很好的解决训练误差过小反而导致推广能力下降的问题，提高了学习方法对未来输出进行正确预测的能力。正是支持向量机的这些优点，这种学习方法得到了众多学者的高度关注，已成为研究的重点推动着机器学习的发展。支持向量机的发展起源是解决两类分类的问题，可在实际中主要的情况是对多类加以分类，因此，如何将其推向多类处理问题成为当今一项十分重要的研究

5、方向。本文对支持向量机的支撑理论统计学习理论进行了关键理论的阐述，并在此基础上论述了支持向量机算法，对支持向量机的分类原理进行了论述。在明确支持向量机原理的基础上，总结了关于支持向量机多类分类方法的国内外研究成果，包涵有“一对一”、二叉树、“一对多”、决策有向无环图等多种方法。分析对比了各个方法的优点和不足，并对它们的分类性能做出总结。通过分析各个多类分类方法，总结出了二叉树方法具有最优的多类分类性能，尤其是对于大规模多类分类问题。本文针对二叉树方法的关键性问题，即树层次结构的划分提出了改进的向量投影方法，利用此方法度量类问可分性的大小，并将易分的类

6、放在树的上层节点中，从而减少误差累积现象对分类精度的影响。二叉树的另一个问题是某些节点处存在不平衡数据分类现象，本文利用改进的SMOTE向上采样方法对不平衡数据集进行采样。本方法不改变样本集分布特性，并且降低了因随机采样而造成的严重样本混叠。最后，将本文的各个算法在UCI数据库上进行了验证，与改进前的方法及“一对多”方法相比，本文的算法提高了分类精度，尤其是对于大规模多类分类的应用中得到了更显著的良好分类效果。关键词支持向量机；不平衡数据；多类分类；二叉树哈尔滨理工大学工学硕士学位论文TheStudyofSupportVectorMachineMul

7、ticlassClassificationAbstractSupportvectormachine(SVM)isanewkindofmachinelearningmethodproposedbyVapnikandothers，itisastudymethodsuitableforsmallscalesample．Itdevelopsonthebasisofstatisticallearningtheory，andinheritedstructuralriskminimizationruleandVC—dimensiontheory．Soit’Save

8、rygoodsolutiontosolvetheproblemsinlearning，improvethel