概率论数理统计课件第17讲参数估计.ppt

《概率论数理统计课件第17讲参数估计.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、概率论与数理统计第十五讲第七章:参数估计数理统计的任务：●总体分布类型的判断；●总体分布中未知参数的推断(参数估计与假设检验)。参数估计问题的一般提法设总体X的分布函数为F(x,θ)，其中θ为未知参数或参数向量，现从该总体中抽样,得到样本X1,X2,…,Xn.依样本对参数θ做出估计，这类问题称为参数估计。参数估计包括：点估计和区间估计。称该计算值为µ的一个点估计。为估计参数µ，需要构造适当的统计量T(X1,X2,…,Xn)，一旦当有了样本，就将样本值代入到该统计量中，算出一个值作为µ的估计，寻求估计量的方法1.矩估计法2.极大似然法3.最小二乘法4.贝叶斯方法…我们仅介绍前面的两种参数

2、估计法。其思想是:用同阶、同类的样本矩来估计总体矩。矩估计是基于“替换”思想建立起来的一种参数估计方法。最早由英国统计学家K.皮尔逊提出。§7.1矩估计矩估计就是用相应的样本矩去估计总体矩。设总体X的分布函数中含k个未知参数步骤一：记总体X的m阶原点矩E(Xm)为am,m=1,2,…,k.am(1,2,…,k),m=1,2,…,k.一般地,am(m=1,2,…,K)是总体分布中参数或参数向量(1,2,…,k)的函数。故,am(m=1,2,…,k)应记成:步骤二：算出样本的m阶原点矩步骤三：令得到关于1,2,…,k的方程组(L≥k)。一般要求方程组(1)中有k个独立方程

3、。步骤四：解方程组(1),并记其解为这种参数估计法称为参数的矩估计法，简称矩法。总体矩样本矩注意：要在参数上边加上“^”，表示参数的估计。它是统计量。解：先求总体的期望例1：设总体X的概率密度为由矩法，令解得为α的矩估计。矩估计的优点是：简单易行,不需要事先知道总体是什么分布。缺点是：当总体的分布类型已知时，未充分利用分布所提供的信息；此外，一般情形下，矩估计不具有唯一性。§7.2极大似然估计极大似然估计法是在总体的分布类型已知前提下，使用的一种参数估计法。该方法首先由德国数学家高斯于1821年提出，其后英国统计学家费歇于1922年发现了这一方法，研究了方法的一些性质，并给出了求参数极

4、大似然估计一般方法——极大似然估计原理。I.极大似然估计原理设总体X的分布(连续型时为概率密度，离散型时为概率分布)为f(x,θ),X1,X2,…,Xn是抽自总体X的简单样本。于是，样本的联合概率函数(连续型时为联合概率密度，离散型时为联合概率分布)为被看作固定，但未知的参数。视为变量将上式简记为L(θ)，即称L(θ)为θ的似然函数。视为变量视为固定值假定现在我们观测到一组样本X1,X2,…,Xn，要去估计未知参数θ。称为θ的极大似然估计。这就是极大似然估计原理。如果θ可能变化空间,称为参数空间。一种直观的想法是：哪个参数(多个参数时是哪组参数)使得现在的观测值x1,x2,…,xn出现

5、的可能性(概率)最大，哪个参数(或哪组参数)就作为参数的估计。(4).在最大值点的表达式中，代入样本值，就得参数θ的极大似然估计。II.求极大似然估计(MLE)的一般步骤.由总体分布导出样本的联合概率函数(连续型时为联合概率密度,离散型时为联合概率分布)；(2).把样本的联合概率函数中的自变量看成已知常数,参数θ看成自变量,得到似然函数L(θ)；(3).求似然函数L(θ)的最大值点(常常转化为求lnL(θ)的最大值点);说明：●求似然函数L(θ)的最大值点，可应用微积分中的技巧。由于ln(x)是x的增函数，所以lnL(θ)与L(θ)在θ的同一点处达到各自的最大值。假定θ是一实数,lnL

6、(θ)是θ的一个可微函数。通过求解似然方程可以得到θ的极大似然估计。若θ是向量，上述似然方程需用似然方程组代替。例1:设X1,X2,…,Xn是取自总体X~B(1,p)的一个样本，求参数p的极大似然估计。解：似然函数为对数似然函数为：对p求导，并令其等于零，得上式等价于解上述方程，得换成换成解：例5：设X1,X2,…,Xn是抽自总体X的一个样本，X有如下概率密度函数其中θ>0为未知常数。求θ矩估计和极大似然估计。求导并令其导数等于零，得解上述方程，得似然函数为从前面两节的讨论中可以看到:●同一参数可以有几种不同的估计，这时就需要判断采用哪一种估计为好的问题。●另一方面，对于同一个参数，用

7、矩法和极大似然法即使得到的是同一个估计,也存在衡量这个估计优劣的问题。估计量的优良性准则就是：评价一个估计量“好”与“坏”的标准。§7.3估计量的优良性准则设总体的分布参数为，对一切可能的成立,则称为的无偏估计。7.3.1无偏性对于样本X1,X2,,Xn的不同取值，取不同的值)。如果的均值等于，即简记为是的一个估计(注意!它是一个统计量，是随机变量。参数，有时可能估计偏高，有时可能偏低，但是平均来说它等于。“一切可能的”是指：