贝叶斯参数估计.pdf

《贝叶斯参数估计.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、BayesianParameterEstimation（贝叶斯参数估计）09009128曹祥09009131严富函贝叶斯估计的基本原理•假设•将待估计的参数看作符合某种先验概率分布的随机变量•估计方式•通过观察样本，将先验概率密度通过贝叶斯规则转化为后验概率密度1引言概率密度估计的两种基本方法：参数估计(parametricmethods)：根据对问题的一般性的认识，假设随机变量服从某种分布，分布函数的参数通过训练数据来估计。如：ML估计，Bayesian估计。非参数估计(nonparametricmetho

2、ds)：不用模型，而只利用训练数据本身对概率密度做估计。如：Parzen窗方法，k-近邻估计。n（Bayes，Thomas）(1702─1761)贝叶斯是英国数学家.1702年生于伦敦；1761年4月17日卒于坦布里奇韦尔斯.贝叶斯是一位自学成才的数学家.曾助理宗教事务，后来长期担任坦布里奇韦尔斯地方教堂的牧师.1742年，贝叶斯被选为英国皇家学会会员.如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶斯估计量、贝叶斯方法、贝叶斯统计等等.贝叶斯统计学派把任意一

3、个未知参数都看成随机变量，应用一个概率分布去描述它的未知状况，该分布称为先验分布。样本信息先验信息贝叶斯定理后验信息统计推断3.3贝叶斯估计ML估计：根据每一类的训练样本估计每一类的类条件概率密度。Bayesian估计：同样根据每一类的训练样本估计每一类的类条件概率密度。但不再把参数θ看成是一个未知的确定变量，而是看成未知的随机变量。通过对第i类样本的观察，使概率密度分布转化为后验概再求贝叶斯估计。先验分布的选取有信息的：已知分布类型、参数等无信息的：最大熵、共轭分布、Bayes假设基于经验的：利用

4、样本确定先验分布共轭分布法22例：设XN~(,2)，~(N10,3)。若从正态总体X抽得容量为5的样本，算得x12.1，226()于是可算得111.93和1。这时正态均值762的后验分布为正态分布N(11.93,())7例设x,x,...,x~iid.p(),()~(,),试确定(x).12n解:先验密度为:1a1()exp()有()exp().()其拟然函数为:nxitnexp(n)f(x)exp(),txii1x

5、i!x1!x2!...xn!i1则其先验密度的核为:t1(x)()f(x)exp[(n)]故n(x)~(axi,n)即(,)是P()的共轭分布i1常用共轭先验分布总体分布参数共轭先验分布二项分布成功概率贝塔分布beta(,)泊松分布均值伽玛分布Ga(,)指数分布均值的倒数伽玛分布Ga(,)正态分布（方差已知）均值2正态分布N(,)正态分布（均值已知）方差倒伽玛分布IGa(,)共轭先验分布的优点它有两个优点1．计算方便2．后验分布中的一些参数

6、可以得到很好的解释在“正态均值的共轭先验分布为正态分布”的例题中，其后验均值可改写为220xx(1)1222200222其中00/()是用方差倒数组成的权，于是后验均值1是样本均值x和先验均值的加权平均。这表明后验均值是在先验均值与样本均值间采取折衷方案。贝叶斯估计的思路与贝叶斯决策类似，只是离散的决策状态变成了连续的估计。贝叶斯决策问题:贝叶斯参数估计问题样本x样本集决策a估计量i真实状态w真实参数θj状态空间A是离散空间参数空间Θ是连续空先

7、验概率P(wj)参数的先验分布P(θ)期望损失最小条件风险贝叶斯估计离散情况下：损失函数表连续情况下：损失函数常用损失函数：——平方误差损失函数贝叶斯估计可以证明，如果采用平方误差损失函数，则θ的贝叶斯估计量是在给定x时θ的条件期望，即：也就是说，时，采用平方误差损失函数的最小风险贝叶斯估计达到期望风险的最小值！贝叶斯估计求贝叶斯估计的方法：（平方误差损失下）贝叶斯估计Gaussian情况：仅参数θμ未知2给定样本集，已知随机变量xN,均值未知而方差已知。均值变量的先验分布2N00,求μ

8、的后验概率p吸收所有与μ无关的项pppppppdppp22Nx11i110exp22expi1222200pp22