(生物学)最大熵原理与应用

《(生物学)最大熵原理与应用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1最大熵原理来最大熵测量熵集中原理最小交叉熵原理最大熵原理应用最大熵原理与应用要点：2最大熵原理3起源于统计力学1957年，统计物理学家Jaynes根据信息熵的概念提出了一个利用部分信息确定随机变量集合概率分布的方法，称为最大熵原理。最大熵原理4信息论提供了一个基于部分知识建立概率分布的构造性准则，并导致被称作最大熵估计的一种统计推断方法。这是根据给定信息得到的最小可能偏差的估计。如果把统计力学看成统计推断的一种形式，而不是一种物理学理论，那么就会发现通常的计算原则，从确定分割函数开始，都是最大熵原理的直接结果。最大熵原理5统计力学的所有已知结果，

2、无论是平衡的还是不平衡的，基本上都是最大熵原理推导出的结果。最大熵原理6基本思想:求满足某些约束的信源事件概率分布时，应使得信源的熵最大可以使我们依靠有限的数据达到尽可能客观的效果克服可能引入的偏差。最大熵原理7一般的最大熵原理应用于良好定义的假设空间和无噪情况且不完整的数据的推断问题。8最大熵原理应用于多个领域:信号检测与处理自然语言处理生物医学环境水利气象学经济学9最大熵原理的描述:在寻找满足某些约束的概率分布时，选择满足这些约束具有最大熵的概率分布。10约束所提供的信息是不完整的，称作部分信息;部分信息有若干种形式:随机变量矩的约束概率分布形

3、状的约束11利用最大熵原理主要有以下两个依据：主观依据客观依据12Δ主观依据。“不充分理由原理”，也叫“中性原理”:如果对所求的概率分布无任何先验信息，没有任何依据证明某种事件可能比任何其他事件更优先，只能假定所有可能是等概率的。对“不充分理由原理”进行扩展---最大熵原理。13Δ客观依据。Jaynes提出熵集中定理：满足给定约束的概率分布绝大多数集中在使熵最大的区域。具有较大熵的分布具有较高的多样性，所以实现的方法数也更多，这样越有可能被观察到。MaxPlank指出:大自然好像对较大熵的情况更偏爱。在满足给定约束的条件下，事物总是力图达到最大熵。

4、最大熵原理（离散情况）14熵其中，约束离散最大熵分布定理15满足约束达到最大熵的概率分布其中16最大熵:证求有约束极值待定常数1718令192021例随机变量集合X，符号集A={a1,a2,a3},随机变量集合Y，符号集B={b1,b2,b3}.满足:求使H(XY)达到最大值的XY的联合分布.22例解::23TheKangarooProblemInformation:1/3ofkangarooshaveblueeyes,and1/3ofkangaroosareleft-handedProblem:Onthebasisofthisinformatio

5、nalone,estimatewhatproportionofkangaroosarebothblue-eyedandleft-handed24X:眼睛红，不红；Y：左撇子，非左撇子；解::25最大熵条件；解::26Solutionusesasinglevariable,0≤x≤1/3buthowtochoose?Commonsensesaysx=1/9(i.e.nocorrelationofattributes)Istheresomefunctionofthe{pi}whichwhenmaximisedyieldsthispreferredsol

6、ution?TheKangarooProblem:2x2TruthTableNormalisation:p1+p2+p3+p4=1Constraints:p1+p2=1/3;p1+p3=1/327例某学校学生中，30%爱好音乐，60%爱好体育，10%爱好书法，问音乐、体育和书法都爱好的学生所占比例是多少？28例1做1000次抛掷骰子的试验，求抛掷点数的平均值。解由于抛掷次数很多，所以各点出现的频率近似等于出现的概率。假定在每次抛掷后，骰子6个面中的每一个面朝上的概率都相同，即为1/6。这里我们利用了“不充分理由原理”，因为除知道骰子有6个面外，我们

7、没有其他任何别的信息。抛掷点数的平均值：m=(1+2+3+4+5+6)/6=3.5。#29例1(续)做1000次抛掷骰子的试验后得知抛掷点数的平均值为4.5，求骰子各面朝上的概率分布。解骰子的各面朝上的概率是不均匀的。除概率的归一性外，我们知道的信息仅有平均值，这对于确定6个面的概率是不完整的信息，必须利用最大熵原理。平均值的约束写为30计算得所求分布为计算31一快餐店出售4种套餐：、鱼、鸡肉、面条和豆腐，单价分别为8元、3元、2元和1元。在某月通过调查得知，该快餐店套餐的总营业额为25万元，共有10万人次来就餐。试利用最大熵原理求本月4种套餐所占

8、的销售份额。322．鱼、鸡肉、面条和豆腐四种销售份额分别记为：332．约束为34解得35连续情况信源的熵满足36，连续最大