半监督学习综述

(52页)

'半监督学习综述'
1 2019-10-29 问题? 什么是半监督学习?? 人类是否进行半监督学习?? 半监督学习的历史及发展?? 有哪些半监督学习的方法?如何使用?? 在自然语言处理方面有哪些应用? 参考资料? Semi-Supervised Learning Literature Survey? 会议: – ICML(机器学习) – NIPS(神经计算) – COLT(机器学习理论) – ACL(自然语言处理)? 杂志 – Journal of Machine Learning Research ? 图书 – 统计学习理论  Vapnik 1998 – Kernel Methods for Pattern Analysis John Shawe-Taylor 2005 – Estimation of Dependences Based on Empirical Data Vapnik 2006 概念? 监督学习(Supervised learning) – 训练集:标注? 非监督学习(Unsupervised learning) – 训练集:无需标注(同一分布)? 半监督学习(Semi-supervised learning) – 训练集:标注+未标注(同一分布) 举例? 判断一个短语是否为学校名训练集: 测试集: 举例? 判断一个短语是否为学校名训练集: 测试集:未标语料起到至关重要的作用 意义? 人工标注耗费时间? 未标样本容易获得? 样本充足,锦上添花? 推理本质的研究 方法? Generative models? Self-Training? Multi-View learning? Transductive SVM? Graph-Based Methods 人类是否进行半监督学习?? 很难回答。人类对自身的了解甚至不如对宇宙 的了解。? 很多发明来源于生物的启示。如:飞机、神经 网络等。人类是否进行半监督学习? 人类是否进行半监督学习?– 判断正面像和侧面像是否是同一个人 人类是否进行半监督学习?? Wallis的实验:错误“Unlabeled Data”的影 响 – 训练:“错误”的序列 – 测试:正面像和侧面像是否是同一个人 – 返回 人类是否进行半监督学习?? “熟读唐诗三百首,不会写诗也会吟” – 相当于往大脑中装入大量的未标注语料? 国外研究表明: – 如果婴儿以前经常听到某个单词,那么当他再学习 该词的时候就会很快 人类是否进行半监督学习?? 简单的推理(Rajat Raina 2007): – 人大脑中有1014个神经元连接 – 人的寿命109秒 – 每秒需要学105个参数 – “被指导学习”的时间很有限? 结论:人类大部分的思维都是非监督的,监督 学习起加速作用 ? -> 人的思维方式=半监督学习 ??? 监督学习的研究只是万里长征的第一步 第一个半监督学习算法? 传统的支持向量机没有全面的履行SRM原则 – 结构的选择应该独立于训练样本 – 超平面的选择仅仅是根据训练集x? 基于传导推理的SVM(Transductive SVM): 利用测试集和训练集寻找一个“更好”的超平 面? 局部风险最小化的界要更好 传导推理? 传统的推理:特殊 -〉一般 -〉特殊? 传导推理:特殊 -〉特殊? 省略了“不必要”的中间过程 传导推理? I want to know God’s thoughts… When the solution is simple, God is answering. - A. Einstein? How to act well without understanding God’s thoughts? - Vladimir Vapnik数据线性不可分 Slide 18 构造软间隔分类超平面n 原优化模型 l – Minimize 1 2 ? ( w ) ? w ? C ? ? i 2 i ?1 – Subject to yi ((w ? xi ) ? b) ?1? ? i , i ?1,...,l ? i ? 0, i ?1,...,ln 对偶优化模型 – Maximize l l ? ? ? ? 1 ? ? ? W ( ) ? i 2 ? i j yi y j (xi x j ) i?1 i, j?1 – Subject to l ? ? i y i ? 0 i ?1 0 ? ? i ? C , i ? 1,..., l Slide 19 SVM的等价表示? 基于软间隔最优超平面的SVM? SVM = Hinge loss + 模的平方Transductive SVM TSVM举例? 判断一个短语是否为学校名 清华大学 东北大学 上海海事大学 哈尔滨工业大学 大连理工 大连造船厂 TSVM举例? 判断一个短语是否为学校名 清华大学 东北大学 上海海事大学 大连理工大学 哈尔滨工业大学 大连海事大学 大连理工 大连造船厂 TSVM举例? 判断一个短语是否为学校名 清华大学 东北大学 上海海事大学 大连理工大学 哈尔滨工业大学 大连海事大学 大连理工 大连造船厂 Transductive SVM? 标注未标数据,引进伪实例;决策规则应该在 稀疏区域 Transductive SVM? SVM的损失函数 未标数据的损失函数 TSVM技术上的问题? 凹函数,找出精确解很难? 往往通过启发式算法求近似解? (Collobert, 2006)使用了CCCP启发式算法使 得SVM和TSVM的速度进一步加快,获得 ICML 2006的最佳论文? 效率仍然很低,无法适用于海量未标语料 TSVM的精度? 在某些评测中显示了较好的效果 – KDD 2001 74.5% - 82.3% – 手写数字识别 4.0%-3.3% – 蛋白质关系抽取 +1-2%? 某些情况效果并不理想,由于很多假设 – Zhang, T., & Oles, F. J. (2000).Inference with the Universum ? Universum vs Unlabeled ? 让超平面穿过Universum密集的区域Universum SVM实验结果Self-Training(Bootstrapping) 将“最确定”的分类结果加入训练集重新训练 分类器 训练集 未标数据 阈值 总结? 错误被加强? 某些小规模实验效果有提高? 大部分实验效果降低? 改进:加入约束条件? 参见:? Guiding Semi-Supervision with Constraint- Driven Learning ACL 2007 Generative模型? 最简单的模型,GMM模型 参数联合概率决策规则:(条件概率) Generative模型? 极大似然估计(训练的过程)监督学习半监督学习:使未标语料也尽可能服从参数为?的 高斯分布实验结果 总结? 优点:如果数据分布符合模型,效果非常好? 缺点: – 大部分数据的“密度”函数的形式很难确定? Co-Training分类器1 结果1 训练集 未标数据 分类器2 结果2Co-Training 总结? 优点: – 实现简单 – 适用于任何分类器 – 比Self-training受的噪音干扰小? 缺点 – 很多问题无法“分
关 键 词:
半监督学习综述 ppt、pptx格式 免费阅读 下载 天天文库
 天天文库所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
关于本文
本文标题:半监督学习综述
链接地址: https://www.wenku365.com/p-44790781.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服点击这里,给天天文库发消息,QQ:1290478887 - 联系我们

本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有【成交的100%(原创)】。本站是网络服务平台方,若您的权利被侵害,侵权客服QQ:1290478887 欢迎举报。

1290478887@qq.com 2017-2027 https://www.wenku365.com 网站版权所有

粤ICP备19057495号 

收起
展开