统计(Bayesian)决策理论

《统计(Bayesian)决策理论》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第二章统计(Bayesian)决策理论Bayesian决策理论是统计模式识别方法的理论基础，大多数人认为也是神经网络分类方法的理论基础。说到底，Bayesian决策方法就是企望在后验概率P@jg(据此确定样本兀的类别)和代价P(e)(即风险，做这一决策产生的损失)之间寻找一个平衡点。当然，我们希望P(©/x)越大越好，P(e)越小越好。2.1基于最小错误率(Minimum・eiTOi*・i*ate)的决策最小错误率(Probabilityofminimumerror),我们应将之理解为犯错误最小的概率，与上一章的分类错误率不是一回事。(1)根据先验

2、概率决策设有两个类别。和如它们的先验概率(PriorProbabilities)P()>P(°)为已矢口。对样本兀而言，我们除知道P(°)和P(血)之外，其它一无所知。令P(®)>戶伽)，若希望做决策吋误差为最小，则认为xe^o类似地，若有〃个类别，且(2-1)P(CDj)=maxP(畋)j=1,2,....nl

3、多，即P(69j)=P(畋)，k=1,2,...,n,这时该方法失效。⑵根据后验概率(PosterioriProbabilities)决策设有两个类别©•和峨，后验概率分别为P(a)j/x)和P(阪Zr),若(2-3)P(a)j/x)>P^k/x)则可决策xe^-o我们知道，Bayesian公式为(2-4)这里，〃(兀)为兀的概率密度，p(x/C0j)为兀属于©的类条件概率密度。将(2・4)代入(2・3)，得P(x)>(2-5)P/(2-6)式(2-6)可改写成p^k)叽)(2—7)于是，依据后验概率大小可得到如下决策规则PV心)二丿卧，畑xec

4、o.(2-8)3我们称/(兀)为似然函数(Likelihoodfunction)o特别地，若P(©)=P(似)，即先验概率相等，这时分类阈值隹1,式(2-8)所示的决策规则化为p心)=/、then/(/(/、Pa>pJ丿3/(vk),thenx“j这就是说,在先验概率相等的条件下,(2-9)(2-10)我们可以仅根据类条件概率密度的大小来确定样本兀的类别。图2」为p(x/coj)=N(Q.l),0d/^)=O・6N(l,l)+O.4N(-l,2)的类条件概率密度分布曲线，图2.2为这两个类别的似然比分布曲线。当有〃个类别时，设可求得后验概率戶1,

5、2,…,72,若(2-11)P(a)j/x)=manP(cok/x)J=1,2,…屮

6、+Pjk(e)(2—15)由于rR2和(PJ-oo00€0JR2+(2—⑹(2-17)将(2J6)和(2-17)代入(2-15),得P(e)=Pkj(e)+Pjk(e)Pdx丿(2—18)即P(e)=Pkj(€)+Pjk@)=pM+p^j)-pM%00dx—P[G)j徑2(2—19)但P(a)j)+Pg=,且dx7•4-oo•R2卩+P仏)JRrRlP(2—20)我们称P(c)为正确分类的概率。于是,P@)=l—P(C)(2-21)式(2-21)意味着使分类错误的概率为最小等价于使分类正确的概率为最大。值得注意的是，最小错误概率的推导实际上是根

7、据后验概率得到的，即(2-15)的完整写法是P(e)=P』e)+Pj血)JR—JR18+JR2&2Pp(x)dx+700p(x)dx+PM?R2JR}”■00+)R2p(x)dx+/、JR21%龙700p(x)"p(e00p(x)dxH-ooPp(x)dx(2—22)对于只有©和血两个类别的情况，基于最小错误率的决策边界有下列几种表达形式。(1)直接由后验概率相等所决定，即兀kj：P0j[x卜兀护p©〃兀）-p（歐/Q=o（2）由后验概率取自然对数并使之相等所决定，即兀kj:*P&j/兀）inPg/兀）亠7ikplnP（6t）j/x）-In

8、P（cok/x）=0更一般地，将Bayes公式两边取自然对数，我们有兀.血也加*®J—J（畋）〃（兀/畋）kj•7Tkj：