基于支持向量机和k-近邻分类器的多特征融合方法

《基于支持向量机和k-近邻分类器的多特征融合方法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、万方数据第29卷第3期2009年3月计算机应用JoumalofComputerApplicationsV01．29No．3Mar．2009文章编号：1001-9081(2009)03—0833一∞基于支持向量机和k一近邻分类器的多特征融合方法陈丽，陈静(中国农业大学理学院，北京100083)(jing__quchen@163．coin)摘要：针对传统分类方法只采用一种分类器而存在的片面性，分类精度不高，以及支持向量机分类超平面附近点易错分的问题，提出了基于支持向量机(SVM)和k一近邻(KNN)的多特征融合方法。在该算

2、法中，设样本集特征可分为L组，先用SVM算法根据训练集中每组特征数据构造分类超平面，共构造L个；其次用SVM—KNN方法对"314试集进行测试，得到由L组后验概率构成的决策轮廓矩阵；最后将其进行多特征融合，输出最终的分类结果。用鸢尾属植物数据进行了数值实验，实验结果表明：采用基于SVM—KNN的多特征融合方法比单独使用一种SVM或SVM．KNN方法的平均预测精度分别提高了28．7％和1．9％。关键词：支持向量机；k．近邻；多特征融合；后验概率中图分类号：TP311．13；TPl81文献标志码：AMulti—featur

3、efusionmethodbasedonsupportvectormachineandk-nearestneighborclassifierCHENLi，CHENJing(Col姆ofScience,ChinaAgriculturalUnivemay,Beijing100083，China)Abstract：Thetraditionalclassificationmethodsonlyuseonesingleclassifier．whichmaylcadtoone．sidedness．10waccuracy，andth

4、atthesamplesnearbytheSupportVectorMachine(SVM)hyperplanesaremoreeasilymisclassified．Tosolvetheseproblems．themulti．featurefusionmethodbasedonSVMandK—NearestNeighborfKNN)classifiersWaspresentedinthispaper．Firstly．thefeaturesweredividedintoLgroupsandtheSVMhyperplan

5、eswereconstructedforeachfeatureoftrainingset．Secondly，thetestingsetWastestedbySVM—KNNmethod，andthedecisionprofilematrixeswereobtained．Finally．thesedecisionprofilematrixeswereimplementedbymulti．featurefusionmethod．TheexperimentalresultsonIrisdatashowthatthefclrec

6、astaccuracyofthemulti．featurefusionmethodbasedonSVM—KNNclassifiersincreasesby28．7％and1．9％thanthoseofSVMandSVM—KNNmethodsrespectively．Keywords：SupportVectorMachine(SVM)；K-NearestNeighbor(KNN)algorithm；multi—featurefusion；inverseprobability0引言附近样本的错分率，提高对数据的分类准确率。

7、传统的分类方法大都采用单一的分类器对数据进行分类，或者通过增加单个分类器结构的复杂度米提高分类精度，结果往往令人不满意。而通过将多个结构较为简单的分类器进行融合的方法来提高整体的分类精度，不失为明智的选择。然而，常见的融合方法如线性组合法、投票法⋯、计数法旧1、模糊积分。3。3等都没能利用样本被子分类器分类后的后验概率，忽略了子分类器的性能差异，分类结果都不理想。另外，还有一种融合方法：概率乘积准则"。，此方法虽利用了样本被每个子分类器分类后的后验概率，但由于概率乘积准则在融合过程中要将所有后验概率相乘，增加了融合后样

8、本被错分的概率。这是因为假设存在某个子分类器将样本分为某类的概率为零，则融合过程巾将所有后验概率相乘时，该样本被分为该类的概率将大大降低。而采用概率和准则∞1町有效避免此类情况的发生。研究发现支持向镀机旧o(SupportVectorMachine，SVM)与k．近邻(K—NearestNeighbor，KNN)相结合能提高支持向