模式识别-Bayes决策方法ppt课件.ppt

《模式识别-Bayes决策方法ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模式识别PatternClassification第三章:Bayes决策方法Bayes决策方法原理根据Bayes决策理论，由先验知识来推断后验概率保证错误概率最小或风险最小Bayes决策方法先验知识先验概率P(ωi)类概率密度P(X/ωi)Bayes决策方法根据考虑问题的角度Bayes决策法最小错误概率的Bayes决策法最小风险的Bayes决策法最小错误概率的Bayes决策一维二类情况设两类模式分别1和2，其类概率密度分别为P(x/1)和P(x/2),先验概率为P(1)和P(2)P(x/1)P(x/2)x最小错误概率的Baye

2、s决策一维二类情况显然：由Bayes公式（联合概率密度知）：一维二类情况则后验概率同理可得其中最小错误概率的Bayes决策最小错误概率的Bayes决策一维二类情况合理的决策为：对待识样本x若P(1/x)>P(2/x)，则判x∈1类若P(2/x)>P(1/x)，则判x∈２类最小错误概率的Bayes决策一维二类情况上述决策等价于：对待识样本x若P(x/1)P(1)>P(x/2)P(２)，则判x∈1类若P(x/2)P(2)>P(x/1)P(1)，则判x∈２类即由先验知识推断后验概率最小错误概率的Bayes决策一维二类

3、情况或：，则判x∈1类上述分类准则称为Bayes决策准则似然比最小错误概率的Bayes决策特殊情况下，若P(1)=P(２)，则分类决策完全由类概率密度函数决定。即：若P(x/1)>P(x/2)，则判x∈1类若P(x/2)>P(x/1)，则判x∈２类最小错误概率的Bayes决策以鱼自动分类为例，假设仅选取鱼的长度作为特征，则两类鱼的类概率密度函数P(x/1)和P(x/2)如下：最小错误概率的Bayes决策类概率密度来源来统计直方图鲈鱼鲑鱼最小错误概率的Bayes决策两条曲线描述了两类鱼的长度区别概率密度函数已归一化，因此每

4、条曲线下的面积为１，即：最小错误概率的Bayes决策若先验概率P(1)=2/3，P(２)=1/3，则其后验概率P(1/x)和P(2/x)如下图所示特征值x=14的模式如何分类？0.920.08最小错误概率的Bayes决策错误概率最小？错误概率P(x/1)P(1)P(x/2)P(2)xR1R2最小错误概率的Bayes决策错误概率最小？无论判别从哪个方向调整，均导致错误概率的增加！P(x/1)P(1)P(x/2)P(2)xR1R2最小错误概率的Bayes决策多类多维情况设Ω={1，2，﹒﹒﹒，ωc}是C个类别状态的有限

5、集合，X=[x1，x2，﹒﹒﹒，xd]T是d维特征向量，P(x/i)为第i类的类概率密度函数，P(i)为第i类的先验概率，则有：其中最小错误概率的Bayes决策多类多维情况Bayes决策准则为：最小错误概率的Bayes决策举例设某地区细胞识别中正常(1)和异常(2)两类的先验概率分别为：P(1)=0.9P(2)=0.1且知1和2两类的类概率密度函数为P(x/1)和P(x/2)现有一待识细胞其特征值为x，从概率密度函数曲线查得：P(x/1)=0.2P(x/2)=0.4试用Bayes决策准则对待识样本进行分类。最小错误概率

6、的Bayes决策解：P(x/1)P(1)=0.2×0.9=0.18P(x/2)P(2)=0.1×0.4=0.04可见：P(x/1)P(1>P(x/2)P(2)由Bayes决策准则得：x∈1类，为正常细胞最小风险（损失）的Bayes决策损失的概念基于最小错误概率的Bayes决策，仅考虑如何保证错误概率最小，而未考虑决策所带来的损失。例如：自动灭火系统，乙肝诊断，鱼的分类等，则应考虑错判造成的损失。可利用决策论的理论和方法来解决上述问题。最小风险（损失）的Bayes决策损失的概念设Ω={1，2，﹒﹒﹒，ωc}表示c个有限的类

7、别状态的集合，A={a1，a2，﹒﹒﹒，ak}表示k个有限的决策（行为）的集合则定义为模式自然状态为ωj时，采取决策ai所造成的损失最小风险（损失）的Bayes决策损失的概念例如，对于细胞正常或异常的分类问题，可得如下损失表1（正常）2（异常）a1（正常）11=012=10a2（异常）21=222=0自然状态损失决策最小风险（损失）的Bayes决策风险函数（损失函数）设P(j)是自然状态为j的先验概率，X为d维特征向量，则由Bayes决策理论知，后验概率：由于每一类后验概率P(X)均相同，可将其视为一标量因子最小风险（损失）的

8、Bayes决策风险函数（损失函数）假定我们观测某个特定模式X并且采取行为ai，如果真实的类别状态为j，通过定义我们将有损失(ai/j)显然，与行为ai相关的总