基于信息熵理论的随机变量统计模型.pdf

《基于信息熵理论的随机变量统计模型.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、中国科技信息2014年笫O7期CHINASCIENCEANDTECHNOLOGYINFORMATIONApr．2014基础及前沿基于信息熵理论的随机变量统计模型肖皓中1．上海海事大学物流工程学院，上海2O1306StatisticaIDistributionModelofRandomVariablesBasedonentropyofinfOrmatiOnXiaoHaozhong1．LogisticsEngineeringColege，ShanghaiMaritimeUniversity，Shanghai2O1306，

2、China摘要根据信息熵理论构建出最大熵概率密度函数模型，得到最少偏见的随机变量的概率分布。在MATLAB平台上编制最大熵概率密度函数的程序。用最大熵概率密度函数的方法对已知的一些标准分布再现，结果表明，基于最大熵概念●上的随机变量统计模型是可行、有效的。关键词肖皓中最大熵原理；分布函数；随机变量；统计模型；MATLABAbstract肖皓中上海海事大学，物流工程学Basedonentropyofinformation，amodelofmaximumentropypdfwasbuilded，，anda院，机械电子工程

3、parameterestimationmethodofthedistributionfunctionwasalsoproposed．Thereproduction专业，硕士．研究方向：机械故障诊ofknownpdfofsomestandarddistributionbasedonthemaximumentropymethodproves断。thatagoodfitnessdistributioncanbeobtainedbythismethod．Generally，thismodelisfeasibleandvali

4、d．Keywordsmaximumentroyprinciple；distributionfunction；randomvariable；statistialmodel；MATLABDOI：10．3969／j．issn．1001—8972．2014。07．019熵的概念源于热力学，是一个系统混乱程度的度力学更简明，使统计力学中的物理假设变得不再重要，熵量。1948年Shannan在创立信息论时，找到一个唯一的量不必须与物理问题联系起来，它完全可以从抽象的数学概来量度信息源的不确定性。这个量与热力学和统计力学中念中引申

5、出来。本文提出了最大熵概率密度函数的，并应的熵数学形式和物理意义都相似，所以也称为熵。不过为用于复杂随机变量统计模型的建立。了明确起见，信息论中的熵有时也称为信息熵口】。最大熵原理是E．T．Jaynes在1957年提出的。按照最大熵原理：最1最大熵概率密度函数的推导少偏见的概率是这样的一种分布，它使熵在根据已知信息附加的约束条件下的最大化。考察具有概率p{pt，P2，．一，pn】的n个可能结果x(xx，⋯，xn】的概率系统，每一个样本的出现时相有一些随机事件，其分布函数不了解或不可能直接计，算，我们所掌握的仅是与随机

6、事件有关的一个或几个随机互独立的，现在来确定某一个样本的信息量，有下列可能的取值：In(1IP1)In(1ip2)，⋯，In(1／p~)变量的平均值，显然，这种几率分布不是唯一的。那么，，如何从这些复杂随机的分布中挑出“最佳的”“最合理而所求的信息量应该是这些可能的取值的统计平均值：的”分布作为实际的常见分布呢?这就必须挑选一个标准，这个挑选标准就是最大熵原理[2】。H：=>P，’￡InP—一ii=l最大信息熵原理对热力学分布函数的数学推证比统计一7l一基础及前沿中国科技信息20i4年幕07期·CHINASCIENC

7、EANDTECHNOLOGYINFORMATIONApr．2o14、也可以表示成谢0)=一是芦lnpt(2．2)_iJ2一一懈i)0，z：1，2，⋯”z式(2．1)，(2．2)分别对址j微分，化简之后可得∑i=一(2．3)这里的HU[J为信息熵。选择使得系统的信息熵值最大。即：=一这里由于k为一正常数，为了简化运算，取k=1。0∑iexp(∑雾i})一4其中，Pi=(Plp^一”)为待求的概率分布，gi(j=l，2，⋯，m)为各阶统计矩函数，最高阶数m一般根据经，、验选取；J表示实际观测到的各阶统计原点矩的期望螽∽吩

8、己唧l。j：=t、=i值，是由样本得到的已知信息；它们的表达式如下表示：，1^＼￡)=x7可用收敛速度较快的牛顿迭代法解该非线性方程组。牛顿迭代法的形式如(2．6)所示。J是原函数的雅克比矩=E∞)=㈨(·3)阵，式(2．7)是两次迭代的差值，当eps达到一定值的时候，迭代结束。由式(1．1)的约束条件和目标函数可做拉格朗日函数L为露水}i)=