Logistic回归系数极大似然估计的计算.pdf

《Logistic回归系数极大似然估计的计算.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、数学理论与应用V01．29No．4第29卷第4期2OO9年12月Dec．2009lVIA11}斑MAInCALⅡ壬E0RYANDAPPHCATIONSLogistic回归系数极大似然估计的计算王治(中南大学数学院，长沙，410075)摘要本文介绍了Logistic回归系数的极大似然估计(瑚xim岫likelihood)的计算，并引入Levenberg—Mar—quardt算法，通过这代给出了Logistic回归系数的极大似然估计。关键词Logistic回归极大似然估计Levenberg—Ma唧zardt算法ComputingMaximumLikelihood

2、EstimatesforLogisticRegressionCoefficientsWangZhi(SchoolofMathematicalScienceandComputingTechnology，CSU，Chanha，410075)AbstractThisdocumentbrieflydescribestheestimationofc~_fficientsinLogisticregressionwhichisusuallycarriedoutbasedontheprincipleofnlaximumlikelihood．Andthen，theLeveng

3、erg—Marquardtalgorithmisintroducedtocomputethemaximumlikelihoodestimatesforregressioncoeficients．KeywordsLogisticRegressionMaximumlikelihoodLevenberg—Ma唧tAlgorithm1引言计算Logistic回归系数的极大似然估计的一个常用方法是Newton迭代法。Levenberg—Marquardt算法是一个广泛应用的最优化算法，它可以视为梯度下降法(gradientdescent)New—ton迭代法的一个结合

4、，本文使用该算法来计算Logistic回归系数的极大似然估计，因为它可以避免Newton迭代法中Hessian矩阵接近0而无法计算的情况。2Logistic回归模型及其似然函数Logistic回归延伸了多元线性回归思想，即因变量是二值(为了方便起见通常设这些值为0*王志忠教授推荐收稿日期：2009年5月8f{Logistic回归系数极大似然估计的计算和1)的情形。和在线性回归中一样，自变量一，也许是类别变量或连续变量或是两种类型的混合。Logistic回归模型如下]=㈩其中，rio，⋯，是未知的和线性回归模型相似的常数，exp(rio+J8+⋯+)=岛’』{

5、。假设有N个观测构成的总体Y1，⋯，，从中随机抽取n个作为样本，观测值为Y一，。设P。=P(y=1l置)=丌()为给定置条件下得到结果Y=1的条件概率；而在同样条件下得到结果Y0的条件概率为尸(Y=OIXi)=1一(置)。于是得到一个观测值的概率为P(Y)=丌(Xi)[1一玎()]一(2)因为各项观测相互独立，它们的联合分布可以表示为各边际分布的乘积()=II丌(Xi)[1一丌(Xi)]一(3)．式(3)rE称为n个观测的似然函数，对Logistic回归模型来说，这是充分的统计量。其对数似然值为L(f1)=In[()]=＼Z_s{YiIn[7r()]+(1一

6、Y)In[1一丌(。)](4)式(4)即称为对数似然函数。从式(4)可以看出，的最大似然估计，就是通过对给定的Y和代入数据对似然函数求最大值就是可以得到。因为求一个函数的对数形式的最大值就等于求该函数的最大值，所以常用对数似然函数，因为它可以减少一些数学运算的麻烦。3Levenberg—Marquardt算法在数值计算领域，Leverrberg—Marquardt算法有着广泛的应用，下面是该算法的具体实现过程：对于目标实值函数：Max：Y：f(X)=一，)其中X：(，⋯，)。有：vf()=0。对v)在处进行Taylor展开：v)一Vf(Xo)+vX)(X一)

7、(5)上式略去了～的高阶部分，然后用置、+分别代替、，就可以得到Newton法的迭代法：X+，：一(v_厂())Vf(Xi)=X一H()Vf()(6)其中H为Hessian矩阵，即88数学理论与应用Hf1=为了改进上述文中Newton迭代法的缺点，Levenberg和Marquardt将上述迭代式改进为．Y⋯=一(H+D)V厂()(7)其中D为这样一个矩阵，当日的对角阵元素的绝对值都大于某个给定的很小的数的时候，为目的对角阵，否则，将的对角阵中该元素赋值为1，再将这个修正的的对角阵赋给D。一a这样就可以改进Newton迭代法中Hessian矩阵接近0而无法计

8、算的情况。为可变参数，如果迭代过程中误差增大，则增大