概率与统计课件参数估计.ppt

《概率与统计课件参数估计.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第七章:参数估计数理统计的任务：●总体分布类型的判断；●总体分布中未知参数的推断(参数估计与假设检验)。参数估计问题的一般提法设总体X的分布函数为F(x,θ)，其中θ为未知参数或参数向量，现从该总体中抽样,得到样本X1,X2,…,Xn.依样本对参数θ做出估计，或估计参数θ的某个已知函数g(θ)。参数估计包括：点估计和区间估计。称该计算值为µ的一个点估计。为估计参数µ，需要构造适当的统计量T(X1,X2,…,Xn)，一旦当有了样本，就将样本值代入到该统计量中，算出一个值作为µ的估计，寻求估计量的方法1.矩估计法2.极大似然法

2、3.最小二乘法4.贝叶斯方法…我们仅介绍前面的两种参数估计法。其思想是:用同阶、同类的样本矩来估计总体矩。矩估计是基于“替换”思想建立起来的一种参数估计方法。最早由英国统计学家K.皮尔逊提出。§7.1矩估计矩估计就是用相应的样本矩去估计总体矩。设总体X的分布函数中含k个未知参数步骤一：记总体X的m阶原点矩E(Xm)为am,m=1,2,…,k.am(1,2,…,k),m=1,2,…,k.一般地,am(m=1,2,…,K)是总体分布中参数或参数向量(1,2,…,k)的函数。故,am(m=1,2,…,k)应记成:步骤

3、二：算出样本的m阶原点矩步骤三：令得到关于1,2,…,k的方程组(L≥k)。一般要求方程组(1)中有k个独立方程。步骤四：解方程组(1),并记其解为这种参数估计法称为参数的矩估计法，简称矩法。解：先求总体的期望例1：设总体X的概率密度为由矩法，令样本矩总体矩解得为α的矩估计。注意：要在参数上边加上“^”，表示参数的估计。它是统计量。解:先求总体的均值和2阶原点矩。例2：设X1,X2,…Xn是取自总体X的简单样本,X有概率密度函数令y=(x-μ)/θ令y=(x-μ)/θ用样本矩估计总体矩得列出方程组:例3：设总体X的均

4、值为，方差为2，求和2的矩估计。解：由故均值,方差2的矩估计为求解，得例：若总体X∼U(a,b)，求a,b的矩估计。解：列出方程组因解上述方程组，得到a,b的矩估计:矩估计的优点是：简单易行,不需要事先知道总体是什么分布。缺点是：当总体的分布类型已知时，未充分利用分布所提供的信息（仅仅利用k阶矩形式）；此外，一般情形下，矩估计不具有唯一性。§7.2极大似然估计极大似然估计法是在总体的分布类型已知前提下，使用的一种参数估计法。该方法首先由德国数学家高斯（Gauss）于1821年提出，其后英国统计学家费歇(Fish

5、er)于1922年发现了这一方法，研究了方法的一些性质，并给出了求参数极大似然估计一般方法——极大似然估计原理。I.极大似然估计原理设总体X的分布(连续型时为概率密度，离散型时为概率分布)为f(x,θ),X1,X2,…,Xn是抽自总体X的简单样本。于是，样本的联合概率函数(连续型时为联合概率密度，离散型时为联合概率分布)为被看作固定，但未知的参数。视为变量将上式简记为L(θ)，即称L(θ)为θ的似然函数。视为变量视为固定值假定现在我们观测到一组样本X1,X2,…,Xn，要去估计未知参数θ。称为θ的极大似然估计(MLE)。一

6、种直观的想法是：使得现在这组样本出现的可能性(概率)最大的那个参数(或那组参数)就作为参数的极大似然估计。这就是极大似然估计原理。如果θ可能变化空间,称为参数空间。(4).在最大值点的表达式中，代入样本值，就得参数θ的极大似然估计。II.求极大似然估计(MLE)的一般步骤.由总体分布导出样本的联合概率函数(联合概率密度或联合概率分布)；(2).把样本的联合概率函数视作θ的函数L(θ)，称为似然函数；(3).求似然函数L(θ)的最大值点(常常转化为求lnL(θ)的最大值点)，即θ的MLE;两点说明：●求似然函数L(θ)的最大

7、值点，通过求解似然方程可以得到θ的MLE。若θ是向量，则需解似然方程组●用上述方法求参数的极大似然估计有时行不通，如对数似然的导数不存在等问题，但不能说似然函数的极大值点不存在，这时我们需要采取其他的办法来求解，而得到极大似然估计。III.下面举例说明如何求参数的MLE例1:设X1,X2,…,Xn是取自总体X~B(1,p)的一个样本，求参数p的极大似然估计。解：似然函数为对数似然函数为：对p求导，并令其等于零，得上式等价于解上述方程，得换成换成例2：求正态总体N(,2)参数和2的极大似然估计(注:我们把2看作一个

8、参数)。解：似然函数为对数似然函数为似然方程组为由第一个方程，得到代入第二方程，得到解：似然函数为例5：设X1,X2,…,Xn是抽自总体X的一个样本，X有如下概率密度函数其中θ>0为未知常数。求θ的极大似然估计。也可写成求导并令其导数等于零，得解上述方程，得1：设总体X服从泊松分布P()，求参数的极