资源描述：
《第2章贝叶斯决策理论ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第2章贝叶斯决策理论Chapter2:Bayesiandecisiontheory模式(样本)的表示方法向量表示:假设一个样本有n个变量(特征)Ⅹ=(X1,X2,…,Xn)T2.矩阵表示:N个样本，n个变量(特征)2021/9/83.几何表示一维表示X1=0.5X2=3二维表示X1=(x1,x2)T=(1,2)TX2=(x1,x2)T=(2,1)T三维表示X1=(x1,x2,x3)T=(1,1,0)TX2=(x1,x2,x3)T=(1,0,1)T2021/9/8本章主要内容2.1基于最小错误率的贝叶斯决策2.3正态分布时的贝叶斯统计决策2
2、.2基于最小风险的贝叶斯决策2.4分类器的错误率问题2.1基于最小错误率的贝叶斯决策2.1.1预备知识1、用向量来表示模式12345转化成列向量0101000123353433010011“1”模式：一些供比对用的、“标准”的样本。特征提取35模式“1”的图片2、高维积分已知模式（样本）：一维积分：高维积分：二重积分：若推广条件概率密度若有两个随机变量X和Y，它们的联合概率密度为，变量X和Y各自的边缘概率密度为和，则在条件Y=y下，X的条件概率密度为3、条件概率定义：即：4、全概率公式定义：设事件是样本空间的一个划分，B是任意一事件，则现
3、在进行一次试验，如果B确定发生了，那么这一重要的补充信息可以使我们对事件的概率重新估计，则：在已知B发生的条件下，求出的概率，这个概率称为后验概率。5、贝叶斯公式（利用了条件概率和全概率公式）贝叶斯公式的另一种形式：由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等诸多理论体系，进而形成一个贝叶斯学派；贝叶斯公式：（1763年提出）贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数学公式之一；贝叶斯公式的两个创新点：（1）用概率表示所有形式的不确定性；（2）例如天气预报时，“今天下雨的概率是85%”比直接预测“今天下雨”要更科学
4、；引入了“先验”与“后验”的概念；先验概率：预先已知的或者可以估计的模式识别系统位于某种类型的概率。根据大量统计确定某类事物出现的比例，如我国理工科大学男女生比例大约为8:2，则在这类学校一个学生是男生的先验概率为0.8，而为女生的概率是0.2，这两类概率是互相制约的，因为这两个概率之和应满足总和为1的约束。P(男生)后验概率：一个具体事物属于某种类别的概率.例如一个学生用特征向量X表示，它是男性或女性的概率表示成P(男生
5、X)和P(女生
6、X)这就是后验概率。由于一个学生只可能为两个性别之一，因此有P(男生
7、X)+P(女生
8、X)=1的约束
9、，这一点是与类分布密度函数不同的。后验概率与先验概率也不同，后验概率涉及一个具体事物，而先验概率是泛指一类事物，因此P(男生
10、X)和P(男生)是两个不同的概念。先验与后验2.1.1预备知识（续）贝叶斯公式：例：利用贝叶斯公式求的最大值：先验后验先验概率：是指根据历史资料或主观判断所确定的事件发生的概率，该类概率没有经过实验证实，属检验前的概率。后验概率：进行实验后，事件发生的概率。贝叶斯公式在推理中融入了先验，即融入了对事物既有的一些认识：2.1.1预备知识（续）6、分类错误率分类错误率=被错分的样本数/样本总数分类方案一分类方案二在分类
11、中，希望分类错误率尽可能地小。2.1.2最小错误率贝叶斯决策的前提（1）要决策分类的类别数是一定的；前提：（2）每一类出现的“先验概率”已知；类类即已知（3）每一类的“类条件概率密度”已知；即已知待解决的分类问题：与类类待解决的分类问题：2.1.3最小错误率贝叶斯决策规则决策规则（样本只有两类时）：如果如果则则先验概率已知类条件概率密度已知可能属于类也可能属于类。2.1.4最小错误率贝叶斯决策规则应用实例例细胞识别假设在某个局部地区细胞识别中，正常()和异常()两类的先验概率分别为正常状态：P()=0.9;异常状态：P()=0.1.现有一
12、待识别的细胞，其观察值为，从类条件概率密度分布曲线上查得P(x
13、)=0.2,P(x
14、)=0.4.试对该细胞x进行分类。解：利用贝叶斯公式，分别计算出及的后验概率。P(
15、x)=P(
16、x)=1-P(
17、x)=0.182类类2.1.4最小错误率贝叶斯决策规则应用实例（续）类条件概率密度（已知）后验概率密度（待求）类类根据上图决策2.1.4最小错误率贝叶斯决策规则应用实例（续）⑴为什么类条件概率密度是已知的“类条件概率密度”是指系统位于某种类型条件下，模式样本的概率密度函数。一般而言，同一类事物的某个属性都有一定的变化范围，在这个变化范围内的分布密
18、度可用一种函数形式表示。类类例如对于细胞识别而言，假设是血红素浓度，则表示正常血细胞的血红素浓度的分布情况。该分布可以事先测定，因此是已知的。正常血细胞异常血细胞2.1.4最小错误率贝叶斯决策
