有关机器学习研究进展

《有关机器学习研究进展》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、机器学习研究进展第九届中国机器学习会议上海2004年10月王珏中国科学院自动化研究所jue.wang@mail.ia.ac.cn周志华南京大学计算机科学与技术系zhouzh@nju.edu.cn1连接机器学习符号机器学习遗传机器学习分析机器学习机器学习研究的变迁Carbonell(1989)展望Dietterich(1997)展望？统计机器学习集成机器学习符号机器学习增强机器学习流形机器学习半监督机器学习多实例机器学习Ranking机器学习数据流机器学习应用驱动的机器学习研究连接主义符号主义行为主义目前，以“主义”争霸的时代已经过去，不同方法解决不同问题。2对统计机器学习的说明Dietteri

2、ch将感知机类的连接机器学习分离出来，并根据划分机理，将其分为两种类型：统计机器学习与集成机器学习。这意味着，感知机类机器学习是重点强调：表示：非线性问题的线性表示泛化：以泛化能力为基础的算法设计3对增强机器学习的说明“适应性”是控制理论中最重要的概念之一，以往在计算机科学中考虑较少1975年，Holland首先将这个概念引入计算机科学。1990年左右，MIT的Sutton等青年计算机科学家，结合动态规划等问题，统称其为增强机器学习这样，遗传学习成为实现增强机器学习的一种方法4对符号机器学习的说明尽管经过十年，符号机器学习被保留，然而，其目标和内涵已发生很大的变化改变泛化目标为符号描述(数据挖

3、掘)。这意味着，符号机器学习已不是与统计机器学习竞争的研究，而是一个研究目标与其不同的研究范式5分析机器学习被放弃分析机器学习所包含的类比、解释等问题对背景知识有更高的要求，这从表示到学习均需要考虑新的理论基础，在这些理论未出现之前，其淡出机器学习研究的视野是自然的6近几年的发展动向由于真实世界的问题十分困难，现有的理论、方法，甚至理念已不能满足需要，由此，大量近代数学的研究结果被引入计算机科学，由此，形成新的机器学习范式7特点从Carbonell到Dietterich的特点是：在算法设计理论上，基础代替随意的算法设计，具体地说，更为强调机器学习的数学基础应用驱动代替理论驱动(认知科学与算法的

4、Open问题)。具体地说，从AI中以“学习”机制驱动(智能)”的研究方式，改变为根据面临的实际问题发展新的理论与方法8统计机器学习的要点目前，统计机器学习的研究主要集中在两个要点上：表示问题泛化问题非线性问题在线形空间的表示对给定样本集合，通过算法建立模型，对问题世界为真的程度9线性表示计算：非线性算法一般是NP完全的。认识世界：只有在某个空间中可以描述为线性的世界，人们才说，这个世界已被认识(将问题变换为另一个问题)数学方法：寻找一个映射，将非线性问题映射到线性空间，以便其可以线性表述10例子---XOR问题xy0001例子：XOR问题：映射：(x,y)(x,xy,y)线形表示：11在机器

5、学习中的方法寻找具有一般意义的线性空间(方法)目前，机器学习主要采用两种方法：整体线性，Hilbert空间(核映射)类似分段线性，Madaline或弱分类方法12Hilbert空间Hilbert空间是VonNeumman为量子力学数学基础提出的一类具有一般意义的线性内积空间在机器学习中借助Hilbert空间构成特征空间13线性不可分机器学习问题将线性不可分问题变为线性可分问题的关键是寻找一个映射，将样本集映射到特征空间，使其在特征空间线性可分这样，我们只需以感知机为基础，研究统计机器学习问题。14困难—特征空间基的选择选择特征空间的基特征空间的基可以采用多项式基或三角函数基寻找一般的方法描述特

6、征空间存在根本性困难(维数灾)与神经网络相比，核函数的选择可以借助领域知识，这是一个优点15理论描述是否可以不显现地描述特征空间，将特征空间上描述变为样本空间上的描述？如果不考虑维数问题，在泛函分析理论上，这是可行的这就是核函数方法16泛化能力描述Duda(1973)Vapnik(1971)样本集：样本个数趋近无穷大有限样本，样本集内部结构(VC维)泛化关系：模型与泛化随机选择样本集的随机变量样本集、模型与泛化泛化能力描述：以概率为1成立以概率1-成立泛化不等式：?(无法指导算法设计)最大边缘(指导算法设计)17“泛化误差界”研究的演变PAC界(Valiant[1984])VC维界(Blum

7、er[1989])最大边缘(Shawe-Taylor[1998])18最大边缘(Shawe-Taylor[1998])M>0，边缘不能等于零。这意味着，样本集合必须是可划分的。边缘最大，误差界最小，泛化能力最强。泛化能力可以使用样本集合的边缘刻画。这个不等式依赖于边缘M。贡献：给出了有几何直观的界描述，从而为算法设计奠定基础。19研究趋势算法的理论研究基本已经完成，根据特定需求的研究可能是必要的目