周志华-机器学习-西瓜书-全书16章-ppt-Chap07贝叶斯分类器课件.pptx

《周志华-机器学习-西瓜书-全书16章-ppt-Chap07贝叶斯分类器课件.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、霍轩第七章：贝叶斯分类器章节目录贝叶斯决策论极大似然估计朴素贝叶斯分类器半朴素贝叶斯分类器贝叶斯网EM算法章节目录贝叶斯决策论极大似然估计朴素贝叶斯分类器半朴素贝叶斯分类器贝叶斯网EM算法贝叶斯决策论贝叶斯决策论（Bayesiandecisiontheory）是在概率框架下实施决策的基本方法。在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决策考虑如何基于这些概率和误判损失来选择最优的类别标记。贝叶斯决策论贝叶斯决策论（Bayesiandecisiontheory）是在概率框架下实施决策的基本方法。在分类

2、问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决策考虑如何基于这些概率和误判损失来选择最优的类别标记。假设有种可能的类别标记，即，是将一个真实标记为的样本误分类为所产生的损失。基于后验概率可获得将样本分类为所产生的期望损失（expectedloss）或者称条件风险（conditionalrisk）我们的任务是寻找一个判定准则以最小化总体风险贝叶斯决策论显然，对每个样本，若能最小化条件风险，则总体风险也将被最小化。贝叶斯决策论显然，对每个样本，若能最小化条件风险，则总体风险也将被最小化。这就产生了贝叶斯判定准则

3、（Bayesdecisionrule）：为最小化总体风险，只需在每个样本上选择那个能使条件风险最小的类别标记，即此时，被称为贝叶斯最优分类器(Bayesoptimalclassifier)，与之对应的总体风险称为贝叶斯风险(Bayesrisk)反映了分类起所能达到的最好性能，即通过机器学习所能产生的模型精度的理论上限。贝叶斯决策论具体来说，若目标是最小化分类错误率，则误判损失可写为贝叶斯决策论具体来说，若目标是最小化分类错误率，则误判损失可写为此时条件风险贝叶斯决策论具体来说，若目标是最小化分类错误率，则误判损失可

4、写为此时条件风险于是，最小化分类错误率的贝叶斯最优分类器为即对每个样本，选择能使后验概率最大的类别标记。贝叶斯决策论不难看出，使用贝叶斯判定准则来最小化决策风险，首先要获得后验概率。然而，在现实中通常难以直接获得。机器学习所要实现的是基于有限的训练样本尽可能准确地估计出后验概率。主要有两种策略：判别式模型（discriminativemodels）给定，通过直接建模,来预测决策树，BP神经网络，支持向量机生成式模型（generativemodels）先对联合概率分布建模，再由此获得生成式模型考虑贝叶斯决策论生成式模

5、型贝叶斯决策论生成式模型基于贝叶斯定理，可写成贝叶斯决策论生成式模型基于贝叶斯定理，可写成先验概率样本空间中各类样本所占的比例，可通过各类样本出现的频率估计（大数定理）贝叶斯决策论生成式模型基于贝叶斯定理，可写成先验概率样本空间中各类样本所占的比例，可通过各类样本出现的频率估计（大数定理）“证据”（evidence）因子，与类标记无关贝叶斯决策论生成式模型基于贝叶斯定理，可写成先验概率样本空间中各类样本所占的比例，可通过各类样本出现的频率估计（大数定理）“证据”（evidence）因子，与类标记无关类标记相对于样本

6、的“类条件概率”(class-conditionalprobability),或称“似然”。章节目录贝叶斯决策论极大似然估计朴素贝叶斯分类器半朴素贝叶斯分类器贝叶斯网EM算法极大似然估计估计类条件概率的常用策略：先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布参数估计。记关于类别的类条件概率为，假设具有确定的形式被参数唯一确定，我们的任务就是利用训练集估计参数极大似然估计估计类条件概率的常用策略：先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布参数估计。记关于类别的类条件概率为，假设具有确定

7、的形式被参数唯一确定，我们的任务就是利用训练集估计参数概率模型的训练过程就是参数估计过程，统计学界的两个学派提供了不同的方案：频率学派(frequentist)认为参数虽然未知，但却存在客观值，因此可通过优化似然函数等准则来确定参数值贝叶斯学派(Bayesian)认为参数是未观察到的随机变量、其本身也可由分布，因此可假定参数服从一个先验分布，然后基于观测到的数据计算参数的后验分布。极大似然估计令表示训练集中第类样本的组合的集合，假设这些样本是独立的，则参数对于数据集的似然是对进行极大似然估计，寻找能最大化似然的参数

8、值。直观上看，极大似然估计是试图在所有可能的取值中，找到一个使数据出现的“可能性”最大值。极大似然估计令表示训练集中第类样本的组合的集合，假设这些样本是独立的，则参数对于数据集的似然是对进行极大似然估计，寻找能最大化似然的参数值。直观上看，极大似然估计是试图在所有可能的取值中，找到一个使数据出现的“可能性”最大值。式(7.9)的连乘操作易造成下溢，通常使用对