贝叶斯决策理论教材2).ppt

《贝叶斯决策理论教材2).ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、第2章贝叶斯决策理论BayesianDecisionTheory模式识别是根据对象特征值将其分类。d个特征组成特征向量x=[x1,···,xd]T，生成d维特征空间，在特征空间一个x称为一个模式样本。Bayes决策理论是用概率统计方法研究决策问题。⒈为什么可用Bayes决策理论分类？⑴样本的不确定性：①样本从总体中抽取，特征值都是随机变量，在相同条件下重复观测取值不同，故x为随机向量。②特征选择的不完善引起的不确定性；③测量中有随机噪声存在。⑵另一方面从样本的可分性来看：当各类模式特征之间有明显的可分性时

2、，可用直线或曲线(面)设计分类器，有较好的效果。当各类别之间出现混淆现象时，则分类困难。这时需要采用统计方法，对模式样本的统计特性进行观测，分析属于哪一类的概率最大。此时要按照某种判据分类，如，分类错误发生的概率最小，或在最小风险下进行分类决策等。贝叶斯决策理论引言贝叶斯决策常用的准则分类器，判别函数，决策面正态分布的判别函数引言机器自动识别分类，能不能避免错分类，做到百分之百正确？怎样才能减少错误？错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，那么有没有可能对危害大的错误严格控制？什么是先

3、验概率、类概率密度函数和后验概率？它们的定义和相互关系如何?贝叶斯公式正是体现三者关系的式子。引言贝叶斯决策理论贝叶斯统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器（Classifier）的设计起指导作用。贝叶斯决策的两个要求各个类别的总体概率分布(先验概率和类条件概率密度)是已知的要决策分类的类别数是一定的引言在连续情况下，假设对要识别的物理对象有d种特征观察量x1,x2,…xd，这些特征的所有可能的取值范围构成了d维特征空间。称向量假设要研究的分类问题有c个类别，类型空间表示为：为d

4、维特征向量。引言评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。贝叶斯决策常用的准则：最小错误率准则最小风险准则Neyman-Pearson准则最小最大决策准则贝叶斯决策理论引言贝叶斯决策常用的准则分类器，判别函数，决策面正态分布的判别函数Bayes决策准则最小错误率准则最小风险准则Neyman-Pearson准则最小最大决策准则最小错误率准则黑色：第一类粉色：第二类绿色：哪一类？统计决策理论就是根据每一类总体的概率分布决定未知类别的样本属于哪一类！最小错误率准则先验概率

5、：类条件概率：后验概率：贝叶斯公式未获得观测数据之前类别的分布观测数据在各类别种情况下的分布X属于哪一类的概率其中：最小错误率准则例：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。两类识别问题：患病，未患病根据医学知识和以往的经验，医生知道：患病的人，白细胞的浓度服从均值2000方差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，方差3000的正态分布；（类条件概率）一般人群中，患病的人数比例为0.5%；（先验概率）一个人的白细胞浓度时3100，医生应该做出怎样的判断？（后验概率？

6、）最小错误率准则数学表示：Ω：表示类别这一随机变量ω1：表示患病ω2：表示不患病X：表示白细胞浓度这一随机变量x：表示白细胞浓度值最小错误率准则医生根据已经掌握的知识知道类别的先验分布：先验概率分布：未获得观测数据（病人白细胞浓度）之前类别的分布。最小错误率准则观测数据白细胞浓度分别在两种情况下的类条件概率分布：已知先验分布和观测值的类条件概率分布，就可以用贝叶斯理论求得x属于哪一类的后验概率：和最小错误率准则最小错误率准则以先验概率、类条件概率密度、特征值（向量）为输入以后验概率作为类别判断的依据贝叶斯

7、公式保证了错误率最小最小错误率准则最小错误率的贝叶斯决策规则为：如果大于，则把x归于患病状态，反之则归于未患病状态。（最大后验概率决策）x1=x2?最小错误率准则最小错误率准则的平均错误率：x2=x3x2和x3都是p(x,ω1)=p(x,ω2)的根，因此是两类分界最小错误率准则最小错误率准则的平均错误率：记平均错误率为P(e)，令t=x2=x3，则最小错误率准则平均错误率是否最小？最小错误率准则似然比公式则：等价于：似然比公式最小错误率准则特例1：最小错误率准则特例2：最小错误率准则形式逻辑（经典确定性推

8、理）以鲈鱼和鲑鱼分类为例：假言：如果鱼的长度大于45cm，则该鱼为鲈鱼，否则该鱼为鲑鱼前提：现在某条鱼结论：该鱼为鲑鱼概率推理（不确定性推理）最小错误率准则例子：给定，类条件概率密度如图。现有一条鱼x=38cm，若采用最小错误率决策，该鱼应该为哪一类？故判决：Bayes决策准则最小错误率准则最小风险准则Neyman-Pearson准则最小最大决策准则最小风险准则最小风险贝叶斯决策：考虑各种错误造成损失不同而提出的一种决策规则。