第二讲最大熵原理与最小鉴别信息原理_156301900

《第二讲最大熵原理与最小鉴别信息原理_156301900》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、&EØÄ:1ù
nO&En±#,·uÆgÄzX&E?nïĤ2010cS1ù
nO&EnSNJ11ù
nO&En
nO&En±#,·&EØÄ:
n1ù
nO&EnO&En_¯K5`§_¯K´·½¯Kµ^^^ØØØ¿¿¿©©©!!!)))ØØØ"""¯KµXKp(ak)fm(ak)=Cmm=1,2,...,Mk=1Ù¥fm´eZ¼ê"y®fm,Cm§¦P(ak).±#,·&EØÄ:
n1ù
nO&EnO&En
n


nnnµµ

2、µAÀÎÜþã^
©Ù"——E.T.Jaynesu1957cJÑ"'(Jµ
©Ù´−∞,+∞þ½E(X)ÚE(X2)
©Ù"
ê©Ù´0,+∞þ½E(X)
©Ù"¯KC¤µXK¦)maxH(X)=max−p(ak)logP(ak)ppk=1XK÷vp(ak)fm(ak)=Cmm=1,2,...,Mk=1XKp(ak)=1k=1±#,·&EØÄ:
n1ù
nO&EnO&En¦)L§¦)Äg´µÚLagrange¦fXKXMXKF=H(X)−βP(ak)−1

3、−λmp(ak)fm(ak)−Cmk=1m=1k=1¦∂XMF0==−1−logP(ak)−β−λmfm(ak)∂P(ak)m=1XM=⇒logp(ak)=−1−β−λmfm(ak)m=1MX½öP(ak)=exp−1−β−λmfm(ak)m=1姧^M+1§¦)M+1ëê"±#,·&EØÄ:
n1ù
nO&EnO&EnA^µÚOåÆ¥íN©fÝ©Ù&Ò?n¥ÌOã¡E±#,·&EØÄ:
n1ù
nO&EnO&En~µã¡E*ÿã´dý¢ãD(

4、U£5D(.¤:y=H(x)+n¦minxky−H(x)k,=¦knkz.PW=ky−H(x)k→(y−H·x)T(y−H·x)∂W-=0¦Ñx.∂xPeknk®§=ky−F(x)k=knk2bxi®½§PL£=ãþ½¤

5、^
n5¦x:maxH(x)hixLPN=max−i=1xilogxi÷v(ky−F(x)k=knkPxi=L
Èű#,·&EØÄ:
n1ù
nO&EnO&EnO&EnO&En±w
ní2"®f,C,P∗(a)[a,kVÇ]§¦P(a)

6、"mmkkknµA¦dP∗(a)P(a)O&E"S.Kullbackkk¦)µminI(P(a),P∗(a))hpkkiPKP(ak)=minpk=1P(ak)logP∗(ak)÷våµPKk=1P(ak)fm(ak)=Cmm=1,2,···,MPKk=1P(ak)=1¦)g´c¡aq§kPMlogP(a)=logP∗(a)−1−β+λf(a)kkm=1mmk2£姥¦ÑP(ak)"±#,·&EØÄ: