转载最大熵产生原理系列论

《转载最大熵产生原理系列论》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、转载最大熵产生原理系列论文原文地址：最大熵产生原理系列论文作者：我有一个梦E.T.Jaynes的《Informationtheoryandstatisticalphysics》+《BrandeisLectures(1963)》1、两句废话很多人看到统计物理四个字就头疼，原因是，里面有太多难以理解的概念，以及艰深的数学。其实，这并不完全是读者的错误，发明这些概念的科学家也有很大的责任。尽管很多伟大的科学家都曾在这个领域做出过贡献，比如麦克斯韦、普朗克、爱因斯坦，但是统计物理中的最基本的概念，比如熵却一直没有搞

2、清楚。这个学科一直处于非常尴尬的境地，一方面，该学科确实解决了很多应用的问题；另一方面，统计物理的核心概念：熵，却一直没有真正地被人们理解。直到20世纪50年代，Jaynes提出了一整套全新的解释熵的思路，才使得人们可以重新认识熵，包括整个统计物理。而且最关键的是，Jaynes的这套方法是目前所有统计物理各个学派中最简洁的一个！《Informationtheoryandstatisticalphysics》发表于1950's年，到如今却仍然有着重要的意义。总体来看，该文提供了一整套数学结构，虽然该数学结构最

3、早起源于平衡态统计物理，即它有着明确的物理研究对象。但是，经过Jaynes的加工和处理，这套数学结构一下子可以"腾空而起"了，即它不仅仅可以描述气体、分子、自旋玻璃，它可以研究一类完全不同的，跟热现象可以类比的系统。比如，我们常说股市最近持续"升温"、经济发展过热，这里面的温度和热究竟是什么意思?Jaynes的框架就能给你一定的回答，在满足一些数学条件下，热、温度、熵等等是一种必然的概念。2、简单算例例子1让我们先来看一个小例子：有一枚筛子，每个面都有一个数字：1~6。很显然，你会倾向于认为这6个面出现的概

4、率是相等的，也就是，你倾向认为：P(x1)=P(x2)=…=P(x6)=1/6其中，P(xi)表示出现数字xi的概率。假如，我告诉你，这枚筛子与其它筛子不同，似乎，他很容易滚到4或者5这个面上，所以这个筛子滚了好多次以后，它出现的平均值是4.5。这个时候，你会怎样分配P(x1)~P(x6)的概率呢?显然，为了实现4.5这个平均值，你给筛子每个面分配的概率应该满足：如果把p(xi)看作是未知数的话，那么它存在着无穷的解。你甚至可以让p(x4)=p(x5)=0.5，其它都是0。但是这样的分配并不保险，因为你得到

5、的平均值是4.5这条信息，并不能让你肯定拒绝筛子也有可能出现1或者6。你还是倾向于，筛子每个面出现的概率尽量是平均的。如何刻画这种概率分布的平均度呢?这就引出了熵的定义。我们可以定义熵为：我们粗浅的可以把S理解为刻画分布p(x1),p(x2)…均匀程度的量。当分布越均匀，S的值也就越大。这样，在第一种情况下，p(x1)=p(x2)=…=p(x6)=1/6可以得到最大的S：ln(6)。在第二种情况下，我们也应该让S最大才是我们心目中认为的最可能的分布，但是显然S不能任意大，它必须满足测量平均值是4.5这个前提

6、，所以我们实际上得到了一个求最大值的数学题：在满足平均值为4.5的前提下，尽量调整P(xi)的数值，使得S能最大化。写成数学问题就是：s.t.(1)(2)这里面有两个约束，第二个约束就是保证平均值为4.5。第一个约束前面没有提，它也是很显而易见的，就是要保证概率的归一化条件。也就是我们分配给每个面的概率加起来应该是1。这个优化问题不能一下求解，因为你要从两个约束中解出p(xi)来很困难。一个比较好的办法是利用拉格朗日(Langrange)乘子法。这套方法，说白了很简单，我可以先把条件(1)、(2)分别变为：

7、然后，把它加到目标函数中，这样目标函数就变为：这样，我就可以在不考虑约束的情况下，通过调节p(xi)和αβ就能直接最大化Y了，同时满足(1)和(2)的约束。首先最大化Y显然能够最大化S。同时，为了让函数Y最大，就需要：对Y求α的导，它就是约束(1)。同样Y对β求导=0就能得到约束(2)。所以最大化Y这个函数就等价于满足条件(1)、(2)的情况下最大化S。下面，我们就来求出具体的p(xi)来，这样我们求解下面的方程组：也就是说这里有6个方程，再加上(1)和(2)，一共就有8个方程，未知数的个数刚好也是8个，这

8、就能完全解出来(注意到S这个函数是总是正数(当没有p=0),且当p-0的时候，S可以任意接近0，所以上式所求必然是最大值)。通过Mathematica，得到：{p[1]0.0543532,p[2]0.0787715,p[3]0.11416,p[4]0.165447,p[5]0.239774,p[6]0.347494,a-2.2833,b0.371049}我们可以把p(x1),p(x2),…,p(x6)画在图上：我