概率密度函数的估计

《概率密度函数的估计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、张学工《模式识别》教学课件第三章　概率密度函数的估计32XuegongZhang,TsinghuaUniversity张学工《模式识别》教学课件3.1　引言贝叶斯决策：已知和，对未知样本分类（设计分类器）实际问题：已知一定数目的样本，对未知样本分类（设计分类器）怎么办？一种很自然的想法：n首先根据样本估计和，记和n然后用估计的概率密度设计贝叶斯分类器。——（基于样本的）两步贝叶斯决策32XuegongZhang,TsinghuaUniversity张学工《模式识别》教学课件希望：当样本数时，如此得到的分类器收敛于理论上的最优解。为此，需重要前提：l训练样本的分布能代表样本的真实分布，所谓

2、i.i.d条件l有充分的训练样本本章讨论内容：如何利用样本集估计概率密度函数？估计概率密度的两种基本方法：l参数方法(parametricmethods)l非参数方法(nonparametricmethods)32XuegongZhang,TsinghuaUniversity张学工《模式识别》教学课件基本概念参数估计(parametricestimation)：l已知概率密度函数的形式，只是其中几个参数未知，目标是根据样本估计这些参数的值。几个名词：统计量(statistics)：样本的某种函数，用来作为对某参数的估计参数空间(parametricspace)：待估计参数的取值空间估计量

3、(estimation)：32XuegongZhang,TsinghuaUniversity张学工《模式识别》教学课件3.2　最大似然估计(MaximumLikelihoodEstimation)假设条件：①参数是确定的未知量，（不是随机量）②各类样本集，中的样本都是从密度为的总体中独立抽取出来的，（独立同分布，i.i.d.）③具有某种确定的函数形式，只其参数未知④各类样本只包含本类分布的信息其中，参数通常是向量，比如一维正态分布，未知参数可能是，此时可写成或。32XuegongZhang,TsinghuaUniversity张学工《模式识别》教学课件鉴于上述假设，我们可以只考虑一类样本

4、，记已知样本为似然函数（likelihoodfunction）——在参数下观测到样本集的概率（联合分布）密度基本思想：如果在参数下最大，则应是“最可能”的参数值，它是样本集的函数，记作。称作最大似然估计量。为了便于分析，还可以定义对数似然函数。32XuegongZhang,TsinghuaUniversity张学工《模式识别》教学课件求解：若似然函数满足连续、可微的条件，则最大似然估计量就是方程或的解（必要条件）。若未知参数不止一个，即，记梯度算子则最大似然估计量的必要条件由S个方程组成：32XuegongZhang,TsinghuaUniversity张学工《模式识别》教学课件讨论：Ø

5、如果或连续、可微，存在最大值，且上述必要条件方程组有唯一解，则其解就是最大似然估计量。（比如多元正态分布）。Ø如果必要条件有多解，则需从中求似然函数最大者Ø若不满足条件，则无一般性方法，用其它方法求最大（见课本均匀分布例）32XuegongZhang,TsinghuaUniversity张学工《模式识别》教学课件l正态分布下的最大似然估计示例以单变量正态分布为例，，样本集似然函数32XuegongZhang,TsinghuaUniversity张学工《模式识别》教学课件对数似然函数最大似然估计量满足方程而32XuegongZhang,TsinghuaUniversity张学工《模式识别》

6、教学课件得方程组解得32XuegongZhang,TsinghuaUniversity张学工《模式识别》教学课件3.3　贝叶斯估计和贝叶斯学习（BayesianEstimationandBayesianLearning）贝叶斯估计思路与贝叶斯决策类似，只是离散的决策状态变成了连续的估计。基本思想：把待估计参数看作具有先验分布的随机变量，其取值与样本集有关，根据样本集估计。损失函数：把估计为所造成的损失，记为32XuegongZhang,TsinghuaUniversity张学工《模式识别》教学课件期望风险：其中,，条件风险：最小化期望风险Þ最小化条件风险（对所有可能的）有限样本集下，最小

7、化经验风险：32XuegongZhang,TsinghuaUniversity张学工《模式识别》教学课件贝叶斯估计量：（在样本集下）使条件风险（经验风险）最小的估计量。损失：离散情况：损失函数表（决策表）；连续情况：损失函数常用的损失函数：（平方误差损失函数）定理3.1　请自学证明过程如果采用平方误差损失函数，则的贝叶斯估计量是在给定时的条件期望，即同理可得到，在给定样本集下，的贝叶斯估计是：32XuegongZhang,Tsing