贝叶斯决策理论分析.pptx

《贝叶斯决策理论分析.pptx》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第2章贝叶斯决策理论Chapter2:Bayesiandecisiontheory本章主要内容2.1基于最小错误率的贝叶斯决策2.3正态分布时的贝叶斯统计决策2.2基于最小风险的贝叶斯决策2.4分类器的错误率问题(重点)(重点)(了解)(熟悉)2.1基于最小错误率的贝叶斯决策2.1.1预备知识用向量来表示模式12345转化成列向量0101000123353433010011“1”模式：一些供比对用的、“标准”的样本。特征提取35模式“1”的图片高维积分已知模式（样本）：一维积分：高维积分：二重积分：若推广2.1.1预备知识（续）贝叶斯公式贝叶斯公式的另一种形式：2.1

2、.1预备知识（续）由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等诸多理论体系，进而形成一个贝叶斯学派；贝叶斯公式：（1763年提出）贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数学公式之一；贝叶斯公式的两个创新点：（1）用概率表示所有形式的不确定性；（2）例如天气预报时，“今天下雨的概率是85%”比直接预测“今天下雨”要更科学；引入了“先验”与“后验”的概念；先验与后验2.1.1预备知识（续）贝叶斯公式：例：利用贝叶斯公式求的最大值：先验后验先验概率：是指根据历史资料或主观判断所确定的事件发生的概率，该类概率没有经过实验证实，属检验前的概率。（争议点

3、）后验概率：进行实验后，事件发生的概率。贝叶斯公式在推理中融入了先验，即融入了对事物既有的一些认识：2.1.1预备知识（续）条件概率密度若有两个随机变量X和Y，它们的联合概率密度为，变量X和Y各自的边缘概率密度为和，则在条件Y=y下，X的条件概率密度为2.1.1预备知识（续）分类错误率分类错误率=被错分的样本数/样本总数分类方案一分类方案二在分类中，希望分类错误率尽可能地小。2.1.2最小错误率贝叶斯决策的前提（1）要决策分类的类别数是一定的；前提：（2）每一类出现的“先验概率”已知；类类即已知（3）每一类的“类条件概率密度”已知；即已知待解决的分类问题：与类类待解决

4、的分类问题：2.1.3最小错误率贝叶斯决策规则决策规则（样本只有两类时）：如果如果则则先验概率已知类条件概率密度已知可能属于类也可能属于类。2.1.4最小错误率贝叶斯决策规则应用实例例：细胞识别假设在某个局部地区细胞识别中，正常()和异常()两类的先验概率分别为正常状态：P()=0.9;异常状态：P()=0.1.现有一待识别的细胞，其观察值为，从类条件概率密度分布曲线上查得P(x

5、)=0.2,P(x

6、)=0.4.试对该细胞x进行分类。解：利用贝叶斯公式，分别计算出及的后验概率。P(

7、x)=P(

8、x)=1-P(

9、x)=0.182类类2.1.4最小错误率贝叶斯决策规则应用

10、实例（续）类条件概率密度（已知）后验概率密度（待求）类类根据上图决策2.1.4最小错误率贝叶斯决策规则应用实例（续）为什么类条件概率密度是已知的“类条件概率密度”是指系统位于某种类型条件下，模式样本的概率密度函数。一般而言，同一类事物的某个属性都有一定的变化范围，在这个变化范围内的分布密度可用一种函数形式表示。类类例如对于细胞识别而言，假设是血红素浓度，则表示正常血细胞的血红素浓度的分布情况。该分布可以事先测定，因此是已知的。正常血细胞异常血细胞2.1.4最小错误率贝叶斯决策规则应用实例（续）为什么先验概率是已知的例如在某个局部地区（比如一个县）细胞识别中，要根据血红

11、素浓度的测量值判定其为正常血细胞或者是异常血细胞（例如白血病血细胞）。类类正常血细胞异常血细胞该县正常人的比例；该县白血病患者的比例；上述比例关系可根据往年病历资料统计大致得到，因此可以看作是已知的。上述比例关系尽管可能是近似的，但对决策准确程度的影响并不是直接的，这也是贝叶斯决策的一个优点。2.1.5决策规则使错误率最小的理论证明前面给出了最小错误率贝叶斯决策规则，但尚未证明按这种决策规则进行分类确实能使分类错误概率最小。下面以一维情况完成证明，其结果不难推广到多维。平均错误率：（是的期望）的概率密度对进行分类（决策）时的错误决策规则（两类时）：如果如果则则(2-6

12、)2.1.5决策规则确实使错误率最小的理论证明（续）决策错误率在每个x值处都取小者，因而平均错误率P(e)也必然达到最小。2.1.6最小错误率贝叶斯决策规则向多类的推广决策规则（样本只有两类时）：如果如果则则决策规则（样本有多类时）：类类类类类如果对于一切成立，则2.2基于最小风险的贝叶斯决策2.2.1为什么要引入基于风险的决策基于最小错误率的贝叶斯决策错误率如果如果则则误判为：误判为：错误率：错误率：基于最小错误率的贝叶斯决策只关注错误率，并不关注因误判而带来的风险。但在实际应用中考虑风险是很重要的。例：细胞识别类类正常血细胞异常血细胞把正常血细胞