概率密度函数的估计参数估计

《概率密度函数的估计参数估计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模式识别第3章概率密度函数的估计为什么需要概率密度函数的估计贝叶斯决策需要的已知信息贝叶斯分类器中只要知道先验概率，条件概率P(ωi),P(x

2、ωi),就可以设计分类器了存在问题:未知概率密度函数未知类条件概率密度未知先验概率密度有一些训练数据需要研究的问题研究如何用已知训练样本的信息去估计P(ωi),P(x

3、ωi)分类器设计的步骤:第一步:利用样本集估计概率密度函数第二步:利用概率密度函数进行分类决策学习训练分类贝叶斯决策理论设计分类器步骤概率密度函数估计中的三个问题如何利用样本估计概率密度函数估计量的性质如何利用样本集估计错误率的方法几种估计类型概率密度函

4、数的形式是否已知参数估计非参数估计训练样本的类别是否已知非监督参数估计非参数估计几种估计类型参数估计与非参数估计参数估计已知研究的问题具有某种数学模型，如正态分布，二项分布，再用已知类别的学习样本估计里面的参数。非参数估计未知数学模型，用已知类别的学习样本直接估计数学模型。几种估计类型监督学习与无监督学习监督学习在已知类别样本指导下的学习和训练，参数估计和非参数估计都属于监督学习。无监督学习不知道样本类别，只知道样本的某些信息去估计，如：聚类分析。几种估计类型监督参数估计非监督参数估计非参数估计统计模式识别句法模式识别类条件概率函数P(x

5、ωi)已知未知贝叶斯

6、决策理论监督学习非监督学习参数非参数参数非参数参数估计的基本概念基本概念统计量参数空间点估计估计量估计值区间估计给定样本集合:{x1,x2,……,xN}f(x1,x2,……,xN)未知参数θθ的容许值组成的集合Θ通过样本集合得到θ的估计值θ^计算θ估计值的统计量d(x1,x2,……,xN)θ^θ取值范围的估计(d1,d2)参数估计的基本概念两种主要的点估计方法最大似然估计贝叶斯估计最大似然估计最大似然估计的特点通常，训练样本数目增加时具有很好的收敛性质一般，比其它方法简单，例如比贝叶斯方法简单最大似然估计问题假定：①待估参数θ是确定的未知量②按类别把样本分成C

7、类X1,X2,X3,…XM,其中第i类的样本共N个,Xi=(X1,X2,…XN)T,并且是独立从总体中抽取的③Xi中的样本不包含θj(i≠j)的信息，所以可以对每一类样本独立进行处理。④第i类的条件概率的函数形式已知根据以上假定，我们下边就可以只利用第i类学习样本来估计第i类的概率密度，其它类的概率密度由其它类的学习样本来估计。最大似然估计似然函数属于i类的学习样本有N个样本，即:Xi=(x1,x2,…xN)T采样到Xi样本的概率密度：p(Xi

8、θi)=p(x1,x2,…xN

9、θi)N个随机变量x1,x2,…xN的似然函数是N个随机变量的联合密度l(θi)=p

10、(Xi

11、θi),这个θi的函数l(θi)就是似然函数最大似然估计p(Xi

12、θi)和l(θi)的区别p(Xi

13、θi)和l(θi)形式上相似，但含义不相同p(Xi

14、θi)是Xi的函数，是概率密度函数l(θi)是θi的函数，不是概率密度函数Gaussian分布，方差已知，均值未知似然函数是均值的函数样本越多，似然函数越尖锐使似然函数最大的值，记为θ^θ同样使对数似然函数取得最大的值^最大似然估计最大似然估计的基本思想求θi的最大似然估计就是把p(xi

15、θi)看成θi的似然函数，求出使它最大时的θi值。最大似然估计最大似然估计的基本思想∵学习样本独立从总体样本集中抽取

16、的∴取对数：N个学习样本出现概率的乘积如何计算出使得似然函数l(θ)取值最大的θ的估计值？最大似然估计最大似然估计的基本思想对θi求导,并令它为0：最大似然估计最大似然估计的基本思想前式的解不一定唯一,只有取值最大的是最终的解。最大似然估计一维正态分布的参数估计总体的分布形式:有两个参数未知:μ和σ最大似然估计一维正态分布的参数估计有N个观测样本X=(x1,x2,…xN)T构造似然函数:最大似然估计一维正态分布的参数估计最大似然估计量的方程为:最大似然估计一维正态分布的参数估计最大似然估计量的方程为:最大似然估计一维正态分布的参数估计最大似然估计量的方程为:无

17、偏估计有偏估计最大似然估计例:不规则硬币，正面概率u和背面概率1-u未知，且无先验知识。根据观测数据估计新的实验中出现正面还是背面。有道理？观测出现结果U的最大似然估计第1次观测正面1第2次观测背面0.5第3次观测正面0.67第4次观测正面0.75有道理？最大似然估计最大似然估计的基本思想举例实验室的研究生录取分数不同实验室有个期望录取分数线受到往年录取成绩的影响假设只有两个真实取值:分数高vs分数低某实验室去年都是”分数低”同学A估计该实验室今年为"分数高“同学B估计该实验室今年为"分数低"哪一个更接近于最大似然估计方法?贝叶斯估计问题假定：待估参数θ是待估

18、计的参数，是随机变量θ的概率分布概率已