模式识别(统计决策方法).pptx

《模式识别(统计决策方法).pptx》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、模式识别自动化学院统计决策方法胡静第二章贝叶斯决策理论22.1引言2.2最小错误率贝叶斯决策2.3最小风险贝叶斯决策2.4两类错误率、Neyman-Pearson决策与ROC曲线2.5正态分布时的统计决策2.6关于分类器的错误率2.7离散概率模型下的统计决策举例托马斯·贝叶斯(ThomasBayes,1701—1761)英国牧师、业余数学家。生活在18世纪的贝叶斯生前是位受人尊敬英格兰长老会牧师，为了证明上帝的存在，他发明了概率统计学原理，遗憾的是，他的这一美好愿望至死也未能实现。贝叶斯思想和方

2、法对概率统计的发展产生了深远的影响。今天，贝叶斯思想和方法在许多领域都获得了广泛的应用。背景介绍3贝叶斯理论及应用数学领域▪贝叶斯分类算法(应用:统计分析、测绘学)▪贝叶斯风险(应用:统计决策论)▪贝叶斯公式(应用:概率空间)▪贝叶斯估计(应用:参数估计)▪贝叶斯区间估计(应用:数学中的区间估计)▪贝叶斯统计(应用:统计决策论)▪贝叶斯序贯决策函数(应用:统计决策论)▪经验贝叶斯方法(应用:统计决策论)工程领域▪贝叶斯定理(应用:人工智能、心理学、遗传学)▪贝叶斯分类器(应用:模式识别、人工智能

3、)▪贝叶斯分析(应用:计算机科学)▪贝叶斯决策(应用:人工智能)▪贝叶斯逻辑(应用:人工智能)▪贝叶斯推理(应用:数量地理学、人工智能)▪贝叶斯网络(应用:人工智能)▪贝叶斯学习(应用:模式识别)其他领域▪贝叶斯主义(应用:自然辩证法)▪有信息的贝叶斯决策方法(应用:生态系统生态学)42.1引言统计模式识别：用概率统计的观点和方法来解决模式识别问题基本概念：样本(sample)状态(state)第一类：，第二类：先验概率(aprioriprobablityorprior)，样本分布密度(samp

4、ledistributiondensity)(总体概率密度）类条件概率密度(class-conditionalprobablitydensity):，56统计概率:若在大量重复试验中，事件A发生的频率稳定地接近于一个固定的常数p，它表明事件A出现的可能性大小，则称此常数p为事件A发生的概率，记为P(A),即p＝P(A)实际上，求出的P为频率，但是如果统计次数足够大，可以认为此时的频率接近概率预备知识--统计概率可见概率就是频率的稳定中心。任何事件A的概率为0＜=P(A)＜=1条件概率:我们把事件

5、B已经出现的条件下，事件A发生的概率记做为P(A

6、B)。并称之为在B出现的条件下A出现的条件概率，而称P(A)为无条件概率。2.1引言后验概率(aposterioriprobablityorposterior):,错误概率(probablityoferror):平均错误率(averageprobablityoferror):正确率(proabalityofcorrectness):7和类条件概率密度对比看看2.1引言贝叶斯决策（统计决策理论）是统计模式识别的基本方法和基础。是“最优分类器”：使平

7、均错误率最小条件：类别数一定，（决策论中把类别称作状态）已知类先验概率和类条件概率密度目标：8贝叶斯决策的前提条件，不是条件概率的条件2.2最小错误率贝叶斯决策9因为，，所以上式等价于：forall.而If,assign------最小错误率贝叶斯决策，简称贝叶斯决策平均错误率2.2最小错误率贝叶斯决策如何计算后验概率？已知，，贝叶斯公式：（BayesianTheory）If,thenassign.10怎么来的？很难记？例：假设n次实验中，点目标出现m次，点目标被成功检测出来k次，那么条件概率

8、P(成功检测目标

9、输入是点目标)=k/m=(k/n)/(m/n)=P(成功检测目标并且输入是点目标)/P(输入是点目标的概率)所以有P(A

10、B)=P(AB)/P(B)P(B)>0贝叶斯公式推导条件概率:我们把事件B已经出现的条件下，事件A发生的概率记做为P(A

11、B)。并称之为在B出现的条件下A出现的条件概率。P(AB)＝P(B)·P(A

12、B)11两个不相容(互斥)事件之和的概率,等于两个事件概率之和,即P(A+B)=P(A∪B)=P(A或B)＝P(A)＋P(B)A∩B=ΦP(检测出点目标)+P(

13、检测出斑目标)＝P(检测出点目标或检测出斑目标)≠P(成功检测

14、斑目标)贝叶斯公式推导联合概率也叫乘法公式，表示两个事件共同发生的概率,也可以表示为两个任意事件的乘积的概率，或称之为交事件的概率。A与B的联合概率表示为P(AB)或者P(A,B),或者P(A∩B)相互独立事件:事件A是否发生对事件B发生的概率没有影响，反之亦然，这样的两个事件叫做相互独立事件。当A与B是相互独立的事件,有P(A)P(B)＝P(AB)=P(A且B)P(算法1成功检测目标)×P(算法2成功检测目标)＝P(算法1成功检测