资源描述：
《统计模式识别a-贝叶斯决策理论-OK.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。
1、必要性上一章是在模式几何第三章w1可分（线性或者非线性）w的前提下讨论的，这种情x22况比较简单，对某些问题统计模式识别(二)也能够进行判决。但是对更多的问题来说，这种条(概率分类法)件并不能得到满足。基于此种情况，我们的分类将贝叶斯决策理论借助于概率统计这一数学Ox工具来进行。1概率分类法的主要研究内容目录争取最优结果的统计决策方法讨论统计分类的判决准则参数估计正态密度及其判别函数–密度分布形式已知条件下的参数估计密度函数的估计–密度分布形式未知时的参数估计与决策非参数方法分类错误率问题降低特征的维数小结1.统计分类的判决准则(1)Bayes法则Bayes法则(最小错误率)基
2、本概念Bayes风险(最小风险)–先验概率：从以往的数据分析中得到的经验值。基于Bayes法则的分类器–后验概率：在得到信息之后，在对以往数据加最小最大决策以修正的概率（一般也是条件概率）。Neyman-Pearson决策–举例：离散情况下的Bayes判决P(B)表示先验概率，在得到信息A后，则有P(B
3、A)复合Bayes决策理论是后验概率，而也经常把P(A
4、B)叫条件概率。–Bayes公式：PAB()PAB(
5、)=PB()1Bayes法则bBayes法则c设有R类样本，分别为w12,ww,..R，若每类的先验P(wi
6、
7、X)>ÎPXX(wwji)Þ概率为P(wi),iR=1,
8、2,..,。其中，i,j=1,2,...,,R且"¹ji对于一样本X认为随机矢量X，每类的条件概率为()消去分母或取对数，可得等价的判别准则PX
9、wiP(
10、Xw)(Pw)>ÎP(
11、Xw)()PXwwÞiijji根据Bayes公式，后验概率为：log(
12、)PXPw+log()w>+log(
13、)PXPwwlog()iijjP(XP
14、ww)()iiPX(wi
15、)=RÞXÎwiåP(wwkk)PX(
16、)若定义似然比L(X)=P(
17、)(
18、)XwwPX，则k=1ij从后验概率出发，得到Bayes法则：L(X)>¹P(wj)/(Pwwii),ÞXÎ"ijBayes法则d(2)Bayes风险a
19、根据Bayes法则，对于一个两类问题，有风险：对于某一样本XÎw，而采取行i如下结论：动aj，则招致损失l(
20、)awji，简记为lij，1.若对于某一样品X，有P(X
21、
22、ww12)=PX()，称RX(
23、)aj为取行动aj时的条件风险则说明X没有提供关于类别状态的任何信R息，完全取决于先验概率。R(
24、ajX)=ål(
25、aiwwii)PX(
26、)i=12.若PP(ww)=()，则判决完全取决于条件概总风险12率。R=òRX((a)
27、)()XPXdX3.除此之外，Bayes法则提供最小错误概率的其中a()X是对每一个X所可能取得行动aa判决。12aR中的一个。Bayes风险bBayes
28、风险c例：两类问题判断准则：–决策1：a1----〉决策为w1类若RXRX(
29、aa)<(
30、),12–决策2：a2----〉决策为w2类则假设采取行动a1的损失较小，X被判为–l表示真类别为w，判决为w所招致的损失ijij第一类则推导：R(
31、aX)=+lP(
32、wX)lwPX(
33、)1111212lP(
34、wX)+<+lP(
35、wX)lP(
36、wXPX)lw(
37、)111212121222R(
38、aX)=+lP(
39、wX)lwPX(
40、)2121222即(ll--Î)P(
41、)wX<(ll)PXX(
42、)wwÞ212221211112Bayes风险dBayes判别与Bayes风险用先验概率与条件概率代
43、替后验概率，消去P(x)()()Pwi
44、
45、X>ÎPXXwwjiÞ(l-l)(
46、)()PXwPw<-(ll)(
47、)()PXPww212222121111P(
48、Xw)(Pw)>ÎP(
49、Xw)()PXwwÞiijjiXÎw1与X无关log(
50、)PXPw+log()w>+log(
51、)PXPwwlog()iijj似然比的常数ÞXÎwP(
52、)XPw(llw-)()iLX()=>121222P(
53、)XPw(llw-)()212111P(
54、)XPw(llw-)()121222LX()=>结论：若似然比大于某一与X无关的阈值，则决P(
55、)XPw(llw-)()212111策为w，被称为最小风险的
56、Bayes决策。1(3)基于Bayes法则的分类器a(3)基于Bayes法则的分类器b分类器、判决函数、分界线(面)基于Bayes法则的判决函数有多种，如Tg(X)=PX(w
57、)X=(,xxx,..)w,ww,..12n12Riix1g1g(X)=P(XP
58、ww)()iiix2g2gi(X)=+log
59、P(XPwwii)log()求MAX判决但是它们的效果是一样的，都是把特征空xg间分割成多个不同的决策区域。nRg(X)>g(X),"¹jiXÞÎwiji若有g(X)>g(X),"ÎjiX¹Þ
