1. 统计机器学习简介

《1. 统计机器学习简介》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、统计机器学习(StatisticalMachineLearning)卢志武中国人民大学信息学院什么是机器学习“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。”“机器学习是对能通过经验自动改进的计算机算法的研究。”“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”2什么是机器学习总结：人工智能的重要组成部分利用经验数据改善系统自身性能已广泛应用于多个领域;大数据分析网络搜索金融市场预测……3为什么需要机器学习？美国航空航天局JPL实验室的科学家在《Science》（2001年9月）上撰文指出：机器学习对科学研究的整个

2、过程正起到越来越大的支持作用，……，该领域在今后的若干年内将取得稳定而快速的发展Machinelearningformsthecoreofmaypresent-dayAIapplicationsGaryAnthes,FutureWatch:AIcomesofage,www.computerworld.com,2009.1.264为什么需要机器学习？2004年，机器学习被MITTechnologyReview列入10EmergingTechnologiesthatwillChangeYourWorld2010年度图灵奖授予机器学习理论创始人、哈佛大学LeslieValiant教授2011

3、年度图灵奖授予概率图模型奠基者、加州大学洛杉矶分校JudeaPearl教授5图灵奖连续两年颁发给机器学习先驱开创者深度学习与机器学习深度学习（deeplearning）是机器学习领域中一系列试图使用多重非线性变换对数据进行多层抽象的算法，本质上是机器学习中特征学习方法的一类。至今已有多种深度学习框架：深度神经网络，卷积神经网络，深度信念网络。已被应用于多个领域：计算机视觉，语音识别，自然语言处理。6大数据与机器学习机器学习几乎无处不在，即便我们没有专程调用它，也经常出现在大数据应用中。机器学习对大数据应用的贡献主要体现在：促进数据科学家们的多产性发现一些被忽视的方案上述价值来自于机器学

4、习的核心功能：让分析算法无需人类干预和显式程序即可对最新数据进行学习。这就允许数据科学家们根据典型数据集创建一个模型，然后利用算法自动概括和学习这些范例和新的数据源。78机器学习示例SARSRiskAgeGenderBloodPressureChestX-RayPre-HospitalAttributesAlbuminBloodpO2WhiteCountRBCCountIn-HospitalAttributes9BooksandReferences主要参考书李航，《统计学习方法》，清华大学出版社，2012.其他参考书米歇尔著，曾华军等译，《机器学习》，机械工业出版社，2008迪达等著，

5、李宏东等译，《模式分类》（第2版），机械工业出版社，200310提纲机器学习方法概述贝叶斯决策理论BayesianDecisionTheory常见统计学习方法机器学习的难题与挑战附录：1、参考资料2、代表性机器学习开发包介绍11一、统计学习方法概述12机器学习的发展机器学习=神经科学与认知科学+数学+计算平凡解问题James(19世纪末)：神经元相互连接McCulloch,Pitts(20世纪中期):“兴奋”和“抑制”Hebb(20世纪中期):学习律神经科学Barlow：功能单细胞假设Hebb：神经集合体假设Rosenblatt：感知机（1956）Rumelhart：BP（1986）P

6、AC(Valiant1984)Schapire：弱学习定理（1990）Freund：AdaBoost（1996）线性不可分问题（Minsky1969）Vapnik：SVM（1991）有限样本统计理论线性空间表示？i.i.d问题一致性假设30年Widrow：Madline（1960）Samuel：符号机器学习机器学习研究历程？泛化理论王珏,机器学习研究回顾与趋势,2004.9学习系统的一般模型System……InputVariables:HiddenVariables:OutputVariables:15机器学习的基本问题和方法机器学习根据给定的训练样本求对某系统输入输出之间依赖关系的估

7、计，使它能够对未知输出作出尽可能准确的预测。机器学习问题的表示根据n个独立同分布观测样本确定预测函数f(x,w)。在一组函数{f(x,w)}中求一个最优的函数f(x,w0)对依赖关系进行估计，使预测的期望风险最小。环境学习环节知识库执行环节Simon的学习模型16学习问题的一般表示学习目标Givenani.i.d.l-samplez1,…,zldrawnfromafixeddistributionF(z)Forafunctionclass’lo