概率密度密度的估计

《概率密度密度的估计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、北华大学电气信息工程学院PRA第三章概率密度密度的估计模式识别理论及应用PatternRecognition-MethodsandApplication内容目录PRA第三章概率密度密度的估计3.1引言21343.2参数估计3.3非参数估计3.4讨论模式识别与神经网络3.1引言基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数MAXg1...g2gc...x1x2xna(x)最一般情况下适用的“最优”分类器：错误率最小，对分类器设计在理论上有指导意义。获取统计分布及其参数很困难，

2、实际问题中并不一定具备获取准确统计分布的条件。训练样本集样本分布的统计特征：概率密度函数决策规则：判别函数决策面方程分类器功能结构3第三章概率密度密度的估计直接确定判别函数基于样本的直接确定判别函数方法：针对各种不同的情况，使用不同的准则函数，设计出满足这些不同准则要求的分类器。这些准则的“最优”并不一定与错误率最小相一致：次优分类器。实例：正态分布最小错误率贝叶斯分类器在特殊情况下，是线性判别函数g(x)=wTx（决策面是超平面），能否基于样本直接确定w?引言训练样本集决策规则：判别函数决

3、策面方程选择最佳准则4第三章概率密度密度的估计基于样本的Bayes分类器设计Bayes决策需要已知两种知识：各类的先验概率P(ωi)各类的条件概率密度函数p(x

4、ωi)知识的来源：对问题的一般性认识或一些训练数据基于样本的两步Bayes分类器设计:利用样本集估计P(ωi)和p(x

5、ωi)基于上述估计值设计判别函数及分类器面临的问题：如何利用样本集进行估计估计量的评价5第三章概率密度密度的估计概率密度估计的方法类的先验概率的估计：用训练数据中各类出现的频率估计依靠经验类条件概率密度估计的两种主要方法：参数

6、估计：概率密度函数的形式已知，而表征函数的参数未知，通过训练数据来估计最大似然估计Bayes估计非参数估计：密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计Parzen窗法kn-近邻法引言6第三章概率密度密度的估计3.2参数估计统计量：样本集的某种函数f(K)参数空间：总体分布的未知参数θ所有可能取值组成的集合(Θ)点估计的估计量和估计值：7第三章概率密度密度的估计估计量的评价标准估计量的评价标准：无偏性，有效性，一致性无偏性：E()=θ有效性：D()小，更有效一致性：样本数趋于无穷时

7、，依概率趋于θ：8第三章概率密度密度的估计3.2.1最大似然估计MaximumLikelihood(ML)样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练。概率密度函数的形式已知，参数未知，为了描述概率密度函数p(x

8、ωi)与参数θ的依赖关系，用p(x

9、ωi,θ)表示。估计的参数θ是确定而未知的，Bayes估计方法则视θ为随机变量。独立地按概率密度p(x

10、θ)抽取样本集K={x1,x2,…,xN}，用K估计未知参数θ9第三章概率密度密度的估计似然函数似然函数：对数(loglarize

11、d)似然函数：最大似然估计10第三章概率密度密度的估计最大似然估计最大似然估计11第三章概率密度密度的估计最大似然估计示意图最大似然估计12第三章概率密度密度的估计计算方法最大似然估计量使似然函数梯度为0：最大似然估计13第三章概率密度密度的估计一元正态分布例解最大似然估计14第三章概率密度密度的估计一元正态分布均值的估计最大似然估计15第三章概率密度密度的估计一元正态分布方差的估计最大似然估计16第三章概率密度密度的估计多元正态分布参数最大似然估计均值估计是无偏的，协方差矩阵估计是有偏的。协方差矩阵的

12、无偏估计是：最大似然估计17第三章概率密度密度的估计3.2.2贝叶斯估计-最大后验概率用一组样本集K={x1,x2,…,xN}估计未知参数θ未知参数θ视为随机变量，先验分布为p(θ)，而在已知样本集K出现的条件下的后验概率为：p(θ

13、K)最大后验概率估计-Maximumaposteriori(MAP)18第三章概率密度密度的估计贝叶斯估计-最小风险参数估计的条件风险：给定x条件下，估计量的期望损失参数估计的风险：估计量的条件风险的期望贝叶斯估计：使风险最小的估计贝叶斯估计19第三章概率密度密度的估计贝叶

14、斯估计损失函数：误差平方贝叶斯估计定理3.1:如果定义损失函数为误差平方函数，则有：20第三章概率密度密度的估计贝叶斯估计的步骤贝叶斯估计确定θ的先验分布p(θ)由样本集K={x1,x2,…,xN}求出样本联合分布：p(K

15、θ)计算θ的后验分布计算贝叶斯估计21第三章概率密度密度的估计一元正态分布例解总体分布密度为：贝叶斯估计均值μ未知，μ的先验分布为：用贝叶斯估计方法求μ的估计量样本集：K={x1,x2,…,xN}22第三章概率密度密度的