统计模式识别b-参数估计-OK.pdf

统计模式识别b-参数估计-OK.pdf

ID:52239476

大小:502.90 KB

页数:15页

时间:2020-03-25

统计模式识别b-参数估计-OK.pdf_第1页
统计模式识别b-参数估计-OK.pdf_第2页
统计模式识别b-参数估计-OK.pdf_第3页
统计模式识别b-参数估计-OK.pdf_第4页
统计模式识别b-参数估计-OK.pdf_第5页
资源描述:

《统计模式识别b-参数估计-OK.pdf》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库

1、HMM模型HMM的基本思想HMM的基本思想Markov链–Markov链–随机序列在任意时刻它所处的状态,且他在时–HMM的概念刻所处的状态为的概率,至于他在时刻的状态有关,而与时刻以前他所处的状态无关即有:HMM的基本算法–前向后向算法–Viterbi算法–Baum-Welch算法讲义:模式识别第三章:统计模式识别(二)概率密度函数的参数估计3.密度函数的估计引言Bayes分类参数估计方法–已知先验概率P()wi与类条件概率PX(

2、)wi,可–极大似然估计(未知参数为一确定值)以设计一个最优分类器。–贝叶斯估计(

3、未知参数为一随机变量)问题–实际情况中,PX(

4、)w的确切分布很难知道,这–贝叶斯学习(未知参数为一随机变量)i就需要根据已有样本作出参数估计。非参数估计–特定条件下,可以合理地假设PX(

5、)w是均值–Parzen窗估计i为mi,协方差矩阵为Si的正态分布,将问题缩–K-N近邻估计小为估计miSi的值。3密度函数的估计(1)最大似然估计a1参数估计的方法:一般原则:条件–有监督的参数估计最大似然估计–设已知样本集有样本类X12,,,XXLc,其中X类Bayes估计j–无监督的参数估计有样本X12,,,XXLn,是按

6、概率密度PX(

7、)wj从总–非参数估计体中独立地抽取的,但是其中某一参数m或参Parzen窗K-N近邻数矢量(,)ms不知道,记作参数qj。–假设1:参数qj唯一地是由PX(

8、)wj决定的,记基础知识:PAB()作PX(

9、,)wq,即认为此概率密度是由wq,作为PAB(

10、)=即PA()B=PABPB(

11、)()jjjj1.PB()条件的条件概率密度。2.–假设2:在X类的样本中不包含q的信息。可PA(B

12、C)=P(A

13、BCP)(

14、)BCjj以对每一类独立地进行处理。PX(

15、,)wqPX(

16、)qjjj1(1)最大似然估

17、计a2(1)最大似然估计a3似然函数:P(X

18、)q对数似然函数:logP(X

19、)q–同一类的样本子集X=X,,,XXLn,它们具有n12L(q)==logP(X

20、qq)ålogPX(

21、),概率密度P(X

22、q),kn=1,2,L,且样本是独立kkk=1抽取的,因此qqˆ=argmax()LP(X

23、)qnP(X

24、qq)=ÕPX(k

25、),ìü¶k=1计算:ïï¶qïï1LP(qq)=(X

26、)Ñ=LP¶(log(X

27、)q)ïïqÑ=íýM¶qqqqˆ=argmax()Lnïﶶïï下==åéùëûlogPX(k

28、q)0ï

29、ï¶q页k=1¶qîþpOqq最大似然估计a4最大似然估计a5问题:Ñ=qL0并不一定能够得到解。对数似然函数举例:x服从均匀分布,参数qq,未知12L(q)=logPN(X

30、q)=--ln(qq21)ì1qq<

31、)q=ïíqq-12=×N函数越大,21¶-qqq121ï0otherwise¶L()q1估计参数为训î=-×N练样本中最小假设从总体中独立地抽取N个样本,则¶-q2qq21和最大的ì1ïNqˆ=x'qˆ=x''LP(qq)==(X

32、)í(qq21-)12ï0î(1)最大

33、似然估计b1(1)最大似然估计b2均值未知的d维正态情况进一步地T¶–设X中的某一样本X=(,,,)xxxL具有正ÑlogP(XXX

34、m)(=-mm)TS--1()kk12kkdmkkk态形式,参数m未知,¶m¶¶TT--1111éùT-1=(Xk-Sm)éë(Xk-+m)ùû(XXkk-mm)éùëûS-()P(Xk

35、m)=d1expêúëû-(XXkk-mm)S-()¶¶mm(2)p22

36、

37、S2Tlog=[1-]TTéS--11()(XX-mmù+éùS--)[1]ëkkûëû11dT-1T-1logP(Xk

38、

39、m)=-logéùëû(2)

40、pS

41、-(XXkk-mm)S-()=2[-1]éùëûS-()Xkm22nT-1(X-=mˆ)0–若干基础知识:¶T-1ÑmLX=2[-1]éùëûS(k-=mˆ)0åkÑlogP(

42、XXXm)(=-mm)S-()k=1qA是对称矩阵kkk,¶m则AAT=n结论mˆ=1XT=...TT-1åk()AB=BAS是对称矩阵nk=12(1)最大似然估计c1(1)最大似然估计c2211()x-q均值、方差未知的一维正态情况log(

43、Pxq)=--log2pqk1k222qÑ22qqm=,qs=

44、1éù1x-q12Ñlog(

45、Pxxqq)=-×êú2(-)(×-=1)k1qkk11êúëû2qq22éù-2均值11()xqPx(

46、q)=-expêúk1k2pq2qnn1n2êúëû2ååÑLx=(-=qˆ)0(x-=qˆ)0logqk1åk1kk==111qk=12211()x-qnlog(

47、Pxq)=--log2pqk11k222qqˆ=åx1k2

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。