作业二：贝叶斯估计

《作业二：贝叶斯估计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、抛掷一枚硬币，假设出现正面的概率为P，出现反面的概率为1-P，参数P是未知的，为了估计参数P的取值，进行10次随机试验，出现了3次正面，7次反面。根据现在获取的试验数据，如何才能估计出参数P？1、【极大似然估计】极大似然估计的想法和统计物理中导出最概然分布想法是相同，这个想法就是我们所看到的，就是最可能发生的。以这个想法为基础就能够建立极大似然估计的方法。极大似然估计包括两个步骤，第一步写出实验数据发生的概率，概率表示中含有待估的未知参数；第二步极大化目标函数，使得目标函数取极值的，就是参数的极大似然估计。下面以硬币的问题例具

2、体说明这两个步骤。第一步写出实验数据发生的概率。参数在硬币问题中指的是出现正面的概率P，实验数据指的是10次实验中出现了3次正面和7次反面。如果实验中出现h次正面，t次反面，那么出现该实验结果出现的概率为:第二步极大化，得到参数的极大似然估计。由于极大化等价于极大化，可以通过求解的最大值来简化求解过程。极值条件为：将=代入极值条件中得==0由等式=0可以求解出使得最大的参数P这就是硬币正面出现概率的极大似然估计。将结果代入以上公式，可计算出这枚硬币出现正面的概率为P=3/10。2、【贝叶斯估计】我们通过极大似然估计得到硬币出现

3、正面的概率是3/10，但是生活经验告诉我们硬币正反面出现的概率相等都是1/2。到底我们应该相信那个结果呢？一种好的方法就是将生活经验和实验数据两个因素综合在一起考虑，贝叶斯估计很好的做到了这一点。贝叶斯估计可以分为三个步骤来实现。第一步确定先验，第二步写出似然函数并计算后验，第三步根据后验计算贝叶斯估计。下面通过硬币的例子来说明贝叶斯估计的实现步骤。第一步确定先验，我们使用的先验分布是具体是这个样子其中相当于之前已经进行了次抛掷硬币实验，出现了次正面和次反面。第二步写出似然函数并计算后验，添加归一化系数之后就能得到后验分布第三

4、步根据后验计算贝叶斯估计将后验的具体表达式代入得代入具体数据，=200，=200，h=3，t=7。=0.495我们的先验知识对结果产生了很大的影响，不添加先验时极大似然估计的结果是p=3/10，添加先验之后，较少的实验数据只对先验做出微小的调整，贝叶斯估计的结果是p=0.495。可以看出样本较少时先验对结果产生重要的影响，但随着样本量的增加先验的影响逐渐减弱，并且贝叶斯估计的结果趋近极大似然估计的结果。这个结论不仅仅对于硬币问题成立，对于所有的贝叶斯估计，随着样本量的增加先验的影响逐渐减弱，贝叶斯估计趋近极大似然估计。对以上的

5、讨论做一下总结：如果样本量小，先验知识又是可获得的，贝叶斯估计能够将先验知识和样本信息整合起来获得更好的效果。l如果样本量较大，先验产生的作用很小，可以忽略。贝叶斯估计趋近极大似然估计，只反应样本信息。