基于差异半监督学习的相关理论分析.pdf

《基于差异半监督学习的相关理论分析.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第27卷第10期模式识别与人工智能Vo1．27No．102014年10月PR&AI0ct．2014基于差异半监督学习的相关理论分析水姜震詹永照(江苏大学计算机科学与通信工程学院镇江212013)摘要基于差异的半监督学习属于半监督学习和集成学习的结合，是近年来机器学习领域的研究热点．但相关的理论研究较缺乏，且都未考虑存在分布噪声的情况．文中首先针对基于差异的半监督学习的特点，定义一种分类噪声和分布噪声的混合噪声(HCAD)．其次给出算法在HCAD噪声下的可能近似正确(PAC)理论分析及其应用实例．最后基于投票边缘函数，推导出在HCAD噪声下多

2、分类器系统的泛化误差上界，并给出相关证明．文中开展的理论研究可用于设计基于差异的半监督学习算法及评估算法的泛化能力，具有广阔的应用前景．关键词基于差异的半监督学习，噪声，可能近似正确(PAC)分析，泛化误差中图法分类号TP181．RelatedTheoreticalAnalysisofDiversity--BasedSemi-supervisedLearningJIANGZhen，ZHANYong—Zhao(SchoolofComputerScienceandCommunicationEngineering，JiangsuUniversit

3、y，Zhenjiang212013)ABSTRACTDiversity·-basedsemi··supervisedlearningisthecombinationofsemi—-supervisedleamingandensemblelearning．Itisaresearchfocusinmachinelearning．However，itsrelatedtheoreticalanalysisisinsuficient，andthepresenceofdistributionnoiseisnottakenintoaccountinthe

4、seresearches．Inthispaper，accordingtothecharacteristicofdiversity—basedsemi—supervisedlearning，ahybridclassificationanddistribution(HCAD)noiseisdefinedfirstly．Then，probablyapproximatelycorrect(PAC)analysisfordiversity-·basedsemi-supervisedlearninginthepresenceofHCADnoiseand

5、itsapplicationofthetheoremaregiven．Finally，basedonthevotingmargin，anupperboundisdevelopedonthegeneralizationerrorofmulti—classifiersystemswiththeoreticproofsinthepresenceofHCADnoise．Theproposedtheoremscanbeusedtodesigndiversity-basedsemi·-supervisedlearningalgorithmsandeva

6、luatetheirgeneralizationability，andtheyhaveapromisingapplicationprospect．KeyWordsDiversity-BasedSemi—supervisedLearning，Noise，ProbablyApproximatelyCorrect(PAC)Analysis，GeneralizationError国家自然科学基金项目(No．61170126)、江苏大学高级人才启动基金项目(No．1291170022)资助收稿日期：2014一O1—1O作者简介姜震(通讯作者)，男，1

7、976年生，博士，讲师，主要研究方向为机器学习、数据挖掘．E—mail：zjiang76@hotmail．com．詹永照，男，1962年生，教授，博士生导师，主要研究方向为模式识别、多媒体技术等．E—mail：yzzhan@ujs．edu．cn．模式识别与人工智能27卷l引言础框架．在该模型中，假设是定义在某个未知分布D上的样本空间，表示一个从样本空间中独立随机抽取出的样本(∈X)．令Y=．厂()表示的标号．集成学习能利用基分类器之间的差异有效提高在PAC模型中，通过对一个样本预测(Example系统的泛化能力，是机器学习领域的研究热点．传

8、统Oracle)EX(f，D)的查询可得到的标号，以此进行的多分类器系统需足够的有标号数据进行训练．但训练并最终输出一个假设(分类器)h．在实际应用中，对数据标注的代价较高，而无