资源描述：
《《贝叶斯学习转》word版》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。
1、贝叶斯学习转机器学习-贝叶斯学习作者：Mitchell译者：曾华军等讲者：陶晓鹏机器学习第6章贝叶斯学习概述贝叶斯推理提供了一种概率手段,基于如下的假定：待考察的量遵循某概率分布,且可根据这些概率及已观察到的数据进行推理,以作出最优的决策.贝叶斯推理为衡量多个假设的置信度提供了定量的方法贝叶斯推理为直接操作概率的学习算法提供了基础,也为其他算法的分析提供了理论框架简介贝叶斯学习算法与机器学习相关的两个原因：贝叶斯学习算法能够计算显示的假设概率,比如朴素贝叶斯分类贝叶斯方法为理解多数学习算法提供了一种有效的手段,而这些算法不一定直接操纵概率数据,比如Find-S候选消除算法神经网络学习：选择
2、使误差平方和最小化的神经网络推导出另一种误差函数：交叉熵分析了决策树的归纳偏置考察了最小描述长度原则贝叶斯学习方法的特性观察到的每个训练样例可以增量地降低或升高某假设的估计概率.而其他算法会在某个假设与任一样例不一致时完全去掉该假设先验知识可以与观察数据一起决定假设的最终概率,先验知识的形式是：1)每个候选假设的先验概率；2)每个可能假设在可观察数据上的概率分布贝叶斯方法可允许假设做出不确定性的预测新的实例分类可由多个假设一起做出预测,用它们的概率来加权即使在贝叶斯方法计算复杂度较高时,它们仍可作为一个最优的决策标准衡量其他方法贝叶斯方法的难度难度之一：需要概率的初始知识,当概率预先未知时
3、,可以基于背景知识,预先准备好的数据以及基准分布的假定来估计这些概率难度之二：一般情况下,确定贝叶斯最优假设的计算代价比较大(在某些特定情形下,这种计算代价可以大大降低).内容安排介绍贝叶斯理论定义极大似然假设和极大后验概率假设将此概率框架应用于分析前面章节的相关问题和学习算法介绍几种直接操作概率的学习算法贝叶斯最优分类器Gibbs算法朴素贝叶斯分类器讨论贝叶斯信念网,这是存在未知变量时被广泛使用的学习算法贝叶斯法则机器学习的任务：在给定训练数据D时,确定假设空间H中的最佳假设.最佳假设：一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设贝叶斯理论提供了一种
4、计算假设概率的方法,基于假设的先验概率,给定假设下观察到不同数据的概率以及观察到的数据本身先验概率和后验概率用P(h)表示在没有训练数据前假设h拥有的初始概率.P(h)被称为h的先验概率.先验概率反映了关于h是一正确假设的机会的背景知识如果没有这一先验知识,可以简单地将每一候选假设赋予相同的先验概率类似地,P(D)表示训练数据D的先验概率,P(D
5、h)表示假设h成立时D的概率机器学习中,我们关心的是P(h
6、D),即给定D时h的成立的概率,称为h的后验概率贝叶斯公式贝叶斯公式提供了从先验概率P(h),P(D)和P(D
7、h)计算后验概率P(h
8、D)的方法P(h
9、D)随着P(h)和P(D
10、h)的
11、增长而增长,随着P(D)的增长而减少,即如果D独立于h时被观察到的可能性越大,那么D对h的支持度越小极大后验假设学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h,h被称为极大后验假设(MAP)确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率,计算式如下最后一步,去掉了P(D),因为它是不依赖于h的常量极大似然假设在某些情况下,可假定H中每个假设有相同的先验概率,这样式子6.2可以进一步简化,只需考虑P(D
12、h)来寻找极大可能假设.P(D
13、h)常被称为给定h时数据D的似然度,而使P(D
14、h)最大的假设被称为极大似然假设假设空间H可扩展为任意的互斥命题集合,只要这些命题的概率
15、之和为1举例：一个医疗诊断问题有两个可选的假设：病人有癌症,病人无癌症可用数据来自化验结果：正+和负-有先验知识：在所有人口中,患病率是0.008对确实有病的患者的化验准确率为98%,对确实无病的患者的化验准确率为97%总结如下P(cancer)=0.008,P(cancer)=0.992P(+
16、cancer)=0.98,P(-
17、cancer)=0.02P(+
18、cancer)=0.03,P(-
19、cancer)=0.97举例：一个医疗诊断问题(2)问题：假定有一个新病人,化验结果为正,是否应将病人断定为有癌症求后验概率P(cancer
20、+)和P(cancer
21、+)利用式子6.2找到极大后验假
22、设P(+
23、cancer)P(cancer)=0.0078P(+
24、cancer)P(cancer)=0.0298hMAP=cancer确切的后验概率可将上面的结果归一化以使它们的和为1P(canner
25、+)=0.0078/(0.0078+0.0298)=0.21P(cancer
26、-)=0.79贝叶斯推理的结果很大程度上依赖于先验概率,另外不是完全接受或拒绝假设,只是在观察到较多的数据后增大或减小了假设的可能性基本概率公式表
