哈工大模式识别课程3用概率密度函数估计.ppt

《哈工大模式识别课程3用概率密度函数估计.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、哈尔滨工业大学第3章概率密度函数估计主要内容引言参数估计正态分布的参数估计非参数估计本章小结引言【引言】贝叶斯决策公式【引言】算法基本步骤【引言】存在的问题：【引言】问题的解决【引言】参数估计的分类【引言】参数估计的基本概念参数估计【参数估计】最大似然估计贝叶斯估计贝叶斯学习【最大似然估计】基本假设【最大似然估计】基本概念【最大似然估计】基本原理【最大似然估计】估计量估计值【最大似然估计】一元参数【最大似然估计】多元参数【最大似然估计】例子：【贝叶斯估计】采用最小风险贝叶斯决策【贝叶斯估计】【举例】假设结论：【贝叶斯

2、估计】【贝叶斯学习】【三种方法总结】【三种方法总结】正态分布的参数估计【最大似然估计】单元正态分布：多元正态分布：最大似然估计方程：其中【贝叶斯估计】【贝叶斯估计】非参数估计【基本思想】令R是包含样本点x的一个区域，其体积为V，设有n个训练样本，其中有k个落在区域R中，则可对概率密度作出一个估计：相当于用R区域内的平均性质来作为一点x的估计，是一种数据的平滑。【基本思想】当n固定时，V的大小对估计的效果影响很大，过大则平滑过多，不够精确；过小则可能导致在此区域内无样本点，k=0。此方法的有效性取决于样本数量的多少，以

3、及区域体积选择的合适。构造一系列包含x的区域R1,R2,…，对应n=1,2,…，则对p(x)有一系列的估计：当满足下列条件时，pn(x)收敛于p(x)：Parzen窗法：区域体积V是样本数n的函数，如：K-近邻法：落在区域内的样本数k是总样本数n的函数，如：【Parzen窗法和K-近邻法】【Parzen窗法和K-近邻法】定义窗函数【Parzen窗法】超立方体中的样本数：【Parzen窗法】概率密度估计：上述过程是一个内插过程，样本xi距离x越近，对概率密度估计的贡献越大，越远贡献越小。只要满足如下条件，就可以作为窗函

4、数：【Parzen窗法】【Parzen窗法】窗函数hn称为窗的宽度【Parzen窗法】【Parzen窗法】保存每个类别所有的训练样本；选择窗函数的形式，根据训练样本数n选择窗函数的h宽度；识别时，利用每个类别的训练样本计算待识别样本x的类条件概率密度：采用Bayes判别准则进行分类。【Parzen窗法】本章结束