资源描述：
《《贝叶斯决策理论》word版》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、第二章贝叶斯决策理论l引言¨统计模式识别方法以样本特征值的统计概率为基础：（1）先验概率、类（条件）概率密度函数和后验概率。（2）Bayes公式体现这三者关系的公式。¨本章讨论的内容在理论上有指导意义，代表了基于统计参数这一类的分类器设计方法，结合正态分布使分类器设计更加具体化。¨模式识别算法的设计都是强调“最优”，即希望所设计的系统在性能上最优。是指对某一种设计原则讲的，这种原则称为准则。使这些准则达到最优，如最小错误率准则，基于最小风险准则等,讨论几种常用的决策规则。设计准则,并使该准则达到最优的条件是设计模式识别系统最基本的方法。l思考？¨
2、机器自动识别分类，能不能避免错分类，如汉字识别能不能做到百分之百正确？怎样才能减少错误？¨错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，有没有可能对一种错分类严格控制？l贝叶斯决策理论与方法基本概念给定一个m模式类的分类任务以及各类在这n维特征空间的统计分布,要区分出待识别样本属于这m类样本中的哪一类问题。假设一个待识别的样本用n个属性观察值描述，称之为n个特征，从而组成一个n维的特征向量，而这n维征向量所有可能的取值范围则组成了一个n维的特征空间。特征空间的统计分布(1),=1,2,…,m的先验概率：(2)类条件概率密度函数：（可
3、解释为当类别已知的情况下，样本的概率分布密度函数）(3)后验概率：生成m个条件后验概率，=1，2，…，m。也就是对于一个特征向量，每一个条件后验概率都代表未知样本属于某一特定类的概率。第一节基于最小错误率的贝叶斯判别方法(一).两类情况两类情况是多类情况的基础，多类情况往往是用多个两类情况解决的。①用,=1,2表示样本（一般用列向量表示）所属的类别。②假设先验概率,已知。(这个假设是合理的，因为如果先验概率未知，可以从训练特征向量中估算出来，即如果是训练样本总数，其中有个样本分别属于，则相应的先验概率：,)③假设（类）条件概率密度函数=1，2已知
4、，用来描述每一类中特征向量的分布情况。如果类条件概率密度函数未知，则可以从可用的训练数据中估计出来。l贝叶斯判别方法贝叶斯分类规则描述为：如果,则如果,则（2-1-1）贝叶斯分类规则就是看的可能性大，还是的可能性大。，i=1,2解释为当样本出现时，后验概率和的大小从而判别为属于或属于类。l三种概率的关系――――贝叶斯公式：（2-1-3）其中，是的概率密度函数（全概率密度），它等于所有可能的类概率密度函数乘以相应的先验概率之和。l因为对于所有的类都是一样的,可视为常数因子，它并不影响结果，不考虑。故可采用下面的写法比较后验概率的大小：则有(2-1-
5、4)（二）多类的情况①表示样本所属的m个类别。②先验概率,＝1,2,…,m③假设类条件概率密度函数，=1，2，…,m已知,计算后验概率后，若：＞则类。这样的决策可使分类错误率最小。因此叫做基于最小错误率的贝叶斯决策。R1和R3的分界点是＝的交点。R2和R3的分界点是＝的交点。图2-1-1图2-1-2l决策域、决策面，决策面方程和判决函数和分类器¨决策域、决策面、决策面方程对于m类的分类任务，按照决策规则可以把多维特征空间划分成m个决策区域，叫决策域。两个区域，的边界叫决策面，是一维时，决策面是一个点；二维时，决策面是一条曲（直）线；三维时，决策面
6、是一曲（平）面；n维时，决策面是一个超曲（平）面。在数学上用解析形式可以表示为用决策面方程描述。可将决策面看作有正负的界面，对于任一样本，代入决策面方程左边的多项式，若是正的，说明；若为负，说明。¨判别函数 把描述决策规则的某种函数叫判别函数，例如≡，其中是一个单调上升函数。对于最小错误率的情况，可描述为，用判决函数描述决策面方程更方便。 ¨分类器分类器可以看成是由软件或硬件组成的一个“分类的机器”，它的功能是先计算出m个判别函数，再从中选出判别函数最大值的类作为决策结果。l基于最小错误率的判决规则的其他形式由，则这种判决规则，可写成若，则有（
7、2-2-5）这里把叫做似然函数，把叫做似然比，叫做似然比阈值。还可以对（2-1-5）式取自然对数的负值，则有若，则有（2-2-6）l基于最小错误率的判决规则的判别函数¨判决函数可以写成，i=1，2，…，m或，i=1，2，…，m两类问题时，m=2。¨判决规则可写成：当，时，；或当时，。不管采用哪一种判决函数，都归属于依据后验概率最大作出判决，其结果使分类的错误率最小。l错误率¨指平均错误概率，表示为（2-2-9）¨对于两类问题，若，则有。图2-1-1(2-2-11)还可以写成：（2-2-12）即图中斜线面积和交叉线面积。第二节基于贝叶斯公式的几种判
8、别规则¨有时最小错误率准则并不一定是最重要的或最好指标。对语音识别、文字识别来说可能这是最重要的指标。¨有些情况下，宁可能扩大一些总错误
