多核学习方法

《多核学习方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第36卷第8期自动化学报Vol.36,No.82010年8月ACTAAUTOMATICASINICAAugust,2010多核学习方法汪洪桥1;2孙富春2蔡艳宁1陈宁2丁林阁2摘要多核学习方法是当前核机器学习领域的一个新的热点.核方法是解决非线性模式分析问题的一种有效方法,但在一些复杂情形下,由单个核函数构成的核机器并不能满足诸如数据异构或不规则、样本规模巨大、样本不平坦分布等实际的应用需求,因此将多个核函数进行组合,以获得更好的结果是一种必然选择.本文根据多核的构成,从合成核、多尺度核、无限核三个角度,系统综述了

2、多核方法的构造理论,分析了多核学习典型方法的特点及不足,总结了各自的应用领域,并凝炼了其进一步的研究方向.关键词核方法,多核学习,合成核,多尺度核,支持向量机,模式识别,回归DOI10.3724/SP.J.1004.2010.01037OnMultipleKernelLearningMethods1;22122WANGHong-QiaoSUNFu-ChunCAIYan-NingCHENNingDINGLin-GeAbstractMultiplekernellearningisanewresearchfocusint

3、hecurrentkernelmachinelearning¯eld.Thekernelmethodisane®ectiveapproachfornon-linearpatternanalysisproblems.Butinsomecomplicatedcases,researchers¯ndthatthekernelmachineswithasinglekernelfunctioncannotmeetsomepracticalrequirementssuchasheterogeneousinformationor

4、unnormaliseddata,largescaleproblems,non-°atdistributionofsamples,etc.Therefore,itisaninevitablechoicetoconsiderthecombinationofkernelfunctionsforbetterresults.Accordingtothecompositionofmultiplekernels,theconstructiontheoriesofmultiplekernelmethodsaresystemati

5、callyreviewed,thelearningmethodsofmultiplekernelwiththecorrespondingcharacteristicsanddisadvantagesarealsoanalyzed,andtherespectiveapplicationsaresummarizedfromthreeaspects,whicharethecompositekernels,themulti-scalekernels,andthein¯nitekernels.Inaddition,thepa

6、pergeneralizestheconclusionsandsomenewdirectionsforfuturework.KeywordsKernelmethod,multiplekernellearning,compositekernel,multi-scalekernel,supportvectormachine(SVM),patternrecognition,regression人们对核方法[1¡3]的关注,得益于支持向量机在研究模式识别的势函数方法时,利用Mercer理(Supportvectormach

7、ine,SVM)[4¡5]理论的发展论,把核函数解释为一个特征空间的内积,并引入和应用,核函数的采用使得线性的SVM很容易推广到机器学习中.但是,当时核方法的潜能并没有被到非线性的SVM.其核心在于利用相对简单得多的完全挖掘.直到1992年,Boser等[11]提出SVM核函数运算,既避免了特征空间中复杂的内积计算,方法.SVM的成功促进了核方法的迅速普及和又避免了特征空间(学习机器)本身的设计[6¡7].实发展,逐渐渗透到了机器学习的诸多领域,如回归际上,有关核函数的研究很早就开始了.早在1909估计[12]、模

8、式分类[13]、概率密度估计[14]、子空间年,Mercer[8]就研究了正负类型的函数与积分等式分析等[15].典型的如SchÄolkopf等[15]提出了核主理论的联系.1950年前后,Aronszajn[9]发展了再生成分分析(Kernelprincipalcomponentanalysis,核希尔伯特空间的理论.1964年,Aizerman等[10]