资源描述：
《Chp9 Chp9参数推断参数推断.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、Chp9Chp9：参数推断：参数推断¢主要内容主要内容¢参数推断的基本概念参数推断的基本概念¢参数推断的方法参数推断的方法¢矩方法¢极大似然估计（MaximumLikelihoodEstimator,MLE）¢MLE的性质参数推断参数推断假设已知模型的函数形式假设已知模型的函数形式F={}fx();:θθ∈Θ，k其中其中Θ⊂R为参数空间为参数空间目标：目标：估计参数估计参数θθθ=(,...,)1k例子例子¢一些流行的参数模型的例子：一些流行的参数模型的例子：¢线性判别分别（LDA）(分类)¢混合高斯模型(密度估计)¢高斯噪声模型(回归)参数估计参数估计¢假设有一类模型函数F，如
2、所有的高斯函数的集合，其参数参数空间为Θ={}()μσμ,:∈R,0σ>。¢通常我们只对一些函数T()θ感兴趣，如均值或均值的函数。因此μ为感兴趣参数(parameterofinterest)，σ为冗余参量(nuisanceparameter)。¢有多种方法可用来估计模型的参数¢矩估计法¢极大似然估计：更流行¢贝叶斯方法矩方法矩方法¢矩方法得到的估计虽然不是最优的，但是很容易计算¢当其他方法不可用时，可用矩方法¢可用作很多迭代算法的初始值¢基本思想：矩匹配¢对真正的矩和样本矩进行匹配矩方法矩方法¢XXf,...,~()x;θθθθ,=(,...,)11nkjj¢j阶矩：ααθjj
3、≡==()Eθ(Xx)∫f(x;θ)dxn1j¢j阶样本矩：αˆj=∑Xini=1¢矩方法：取前k阶矩真正的矩样本矩αθ11()ˆn=αˆαθ22()ˆn=αˆ@@@αθkn()ˆ=αˆk例：例：BernoulliBernoulli分布分布令令X1,...,Xn∼Bernoullip()，，α==E(X)p一阶矩一阶矩1pn1一阶样本矩一阶样本矩αˆ1==∑XinXni=1所以我们得到估计所以我们得到估计n1pXˆni==∑Xnni=1例：高斯分布例：高斯分布2令令XXN1,...,n∼()μσ,，参数为，参数为θμ=(,σ)，，一阶矩一阶矩αμ1==Eθ()Xn1一阶样本矩一阶
4、样本矩αˆ1==∑XinXni=1222二阶矩二阶矩αμ2==Eθ()X+σn12二阶样本矩二阶样本矩αˆ2=∑()Xini=1所以所以⎧⎪1n⎪⎪μˆni==∑XXn⎪⎪⎧μˆnn=X⎪n⎪⎪⎪i=1n⎨⎨⇒12⎪⎪n2=−⎪⎪ˆ22ˆ12σˆni∑()XXn⎪⎪⎪μσnn+=∑()Xi⎪⎩ni=1⎪⎩ni=1极大似然估计（极大似然估计（MLEMLE））¢极大似然估计极大似然估计¢似然函数¢对似然函数求最大值¢极大似然估计的性质极大似然估计的性质似然函数似然函数¢令令XX1,...,n为为IIDIID，其，其PDFPDF为为f(x;θ)，，似然函数似然函数定定义为义为nLni(
5、)θθ=∏fX(;)i=1¢有时也记为Ln(θ;x)或Ln(θ
6、x)，表示似然函数为在给定x的情况下，参数θ的函数。¢似然函数在数值上是数据的联合密度，但它是参似然函数在数值上是数据的联合密度，但它是参数数θθ的函数，的函数，L:0Θ→[),∞。因此似然函数通常。因此似然函数通常n不满足密度函数的性质，如它对不满足密度函数的性质，如它对θθ的积分的积分不不必为必为11。。似然的解释似然的解释¢若X是离散的，则L()(θ;xX==Px)。如果我们比较nθ两个参数θ1和θ2的似然值，如果Pθθ(XxPXx=>)(=)12则观测到的样本更可能发生在θ=θ1下，也就是说，相比θ2，θ1是
7、一个更可信的猜测。¢对连续的X，Pθ1(xX−<<+εεx)Ln(θ1;x)≈P(x−<<+εεXx)L(θ;x)θ2n2¢但通常我们并不将似然解释为参数θ的概率极大似然估计极大似然估计¢极大似然估计（MLE）θn是使得L()θ最大的θ，即nθθˆ=argmaxL()nnθ¢loglog似然函数似然函数定义为：定义为：l(θθ)=logL()，它和似然函，它和似然函n数在相同的位置取极大值。数在相同的位置取极大值。¢同样，相差常数倍也不影响似然函数取极大值的同样，相差常数倍也不影响似然函数取极大值的位置。因此似然函数中的常数项也可以抛弃。位置。因此似然函数中的常数项也可以抛弃。例
8、：例：BernoulliBernoulli分布分布令令X1,...,Xn∼Bernoullip()，，x1−x则概率函数则概率函数f()()xp;1=−pp似然函数为似然函数为nnX1−−XniSSL(pf)==∏∏()X;11pppppi()−=()−ninii==11其中其中SX=∑ii=1所以所以lpSpnSn()=+log(−−)(log1p)解方程解方程∂−lp()S()nSnn11=−=⇒0pSˆni==∑X=Xn∂−ppp1nni=1例：高斯分布例：高斯分布2令XX
