半监督学习综述

《半监督学习综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、对半监督学习综述李彦鹏2021/9/171问题什么是半监督学习？人类是否进行半监督学习？半监督学习的历史及发展？有哪些半监督学习的方法？如何使用？在自然语言处理方面有哪些应用？参考资料Semi-SupervisedLearningLiteratureSurvey会议：ICML（机器学习）NIPS（神经计算）COLT（机器学习理论）ACL（自然语言处理）杂志JournalofMachineLearningResearch图书统计学习理论Vapnik1998KernelMethodsforPatternAnalysisJohnShawe-Taylor2005EstimationofDep

2、endencesBasedonEmpiricalDataVapnik2006概念监督学习（Supervisedlearning）训练集：标注非监督学习（Unsupervisedlearning）训练集：无需标注（同一分布）半监督学习（Semi-supervisedlearning）训练集：标注+未标注(同一分布)举例判断一个短语是否为学校名训练集：测试集：清华大学东北大学哈尔滨工业大学上海海事大学未标语料：大连理工大学大连海事大学大连理工返回举例判断一个短语是否为学校名训练集：测试集：未标语料起到至关重要的作用清华大学东北大学哈尔滨工业大学上海海事大学CMU未标语料：Carnegie

3、MellonUniversity卡耐基梅隆大学意义人工标注耗费时间未标样本容易获得样本充足，锦上添花推理本质的研究方法GenerativemodelsSelf-TrainingMulti-ViewlearningTransductiveSVMGraph-BasedMethods人类是否进行半监督学习？很难回答。人类对自身的了解甚至不如对宇宙的了解。很多发明来源于生物的启示。如：飞机、神经网络等。人类是否进行半监督学习？人类是否进行半监督学习？判断正面像和侧面像是否是同一个人人类是否进行半监督学习？Wallis的实验：错误“UnlabeledData”的影响训练：“错误”的序列测试：正

4、面像和侧面像是否是同一个人返回人类是否进行半监督学习？“熟读唐诗三百首，不会写诗也会吟”相当于往大脑中装入大量的未标注语料国外研究表明：如果婴儿以前经常听到某个单词，那么当他再学习该词的时候就会很快人类是否进行半监督学习？简单的推理（RajatRaina2007）：人大脑中有1014个神经元连接人的寿命109秒每秒需要学105个参数“被指导学习”的时间很有限结论：人类大部分的思维都是非监督的，监督学习起加速作用->人的思维方式=半监督学习？？监督学习的研究只是万里长征的第一步第一个半监督学习算法传统的支持向量机没有全面的履行SRM原则结构的选择应该独立于训练样本超平面的选择仅仅是根据

5、训练集x基于传导推理的SVM（TransductiveSVM）:利用测试集和训练集寻找一个“更好”的超平面局部风险最小化的界要更好传导推理传统的推理：特殊-〉一般-〉特殊传导推理：特殊-〉特殊省略了“不必要”的中间过程传导推理IwanttoknowGod’sthoughts…Whenthesolutionissimple,Godisanswering.-A.EinsteinHowtoactwellwithoutunderstandingGod’sthoughts?-VladimirVapnik数据线性不可分18构造软间隔分类超平面原优化模型MinimizeSubjectto对偶优化模

6、型MaximizeSubjectto19SVM的等价表示基于软间隔最优超平面的SVMSVM=Hingeloss+模的平方TransductiveSVMTSVM举例判断一个短语是否为学校名清华大学东北大学上海海事大学哈尔滨工业大学大连理工大连造船厂TSVM举例判断一个短语是否为学校名清华大学东北大学上海海事大学大连理工大学哈尔滨工业大学大连海事大学大连理工大连造船厂TSVM举例判断一个短语是否为学校名清华大学东北大学上海海事大学大连理工大学哈尔滨工业大学大连海事大学大连理工大连造船厂TransductiveSVM标注未标数据，引进伪实例；决策规则应该在稀疏区域TransductiveS

7、VMSVM的损失函数未标数据的损失函数TSVM技术上的问题凹函数，找出精确解很难往往通过启发式算法求近似解(Collobert,2006)使用了CCCP启发式算法使得SVM和TSVM的速度进一步加快，获得ICML2006的最佳论文效率仍然很低，无法适用于海量未标语料TSVM的精度在某些评测中显示了较好的效果KDD200174.5%-82.3%手写数字识别4.0%-3.3%蛋白质关系抽取+1-2%某些情况效果并不理想，由于很多假设Zhang,T.,&Oles