大学物理-热学.ppt

《大学物理-热学.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、*熵与信息简介1*熵与信息简介一.信息、信息价值评估1.信息早年：信息—消息现代：信息—•五官所感受的一切2.信息价值评估•质的差别•人类所有的文化知识•量的不同例如，有名的短诗与无味的小说的比较。2对信息价值在质的方面的评估有困难：•超出自然科学的范围•尚无为大家接受的客观准则目前采用电报局的办法：只计字数不问内容当代“信息论”的出发点：只在信息量的问题上下功夫3二.信息量与信息熵1.信息量信息需要载体（语言文字、音符、图表…），比较不同载体传递的信息量很困难。1948年信息论的创始人香农（Shannon）从概率的角度给出信息的定义：（1）信息的获得意味着在各种可能性中概率分布的集中4•若只

2、知某人住某楼（50间房），则在每间房找到他的概率为多少?•若又知某人住三楼（10间房），•若又知某人住301室，则在301找到他的概在三楼的每间房找到他的概率为多少?在其它楼层找到他的概率为多少?则率为多少?在其它房找到他的概率为多少?例如，在不同信息下，要去某楼找某人：5缺乏信息（情况不明）获得了信息（情况进一步明了）——概率分布分散——概率分布集中（2）信息量的度量1比特（bit）。“黑和白”、“有和无”、“二进制的0和1”中作出判断。在没有信息的情况下，•规定从两种可能性中作出判断所需信息量为例如要在“是和否”、的概率均为1/2，以上每种可能性出现要作出判断需1bit信息量。6•从4种可

3、能性中作出判断所需信息量为2bit。例如甲持一张扑克牌让乙猜是什么花色的?对乙的提问甲只能回答“是”和“否”，“是黑桃吗？”正确问法：“是桃吗？”所以，从4种可能性中作出判断所需要的“是黑的吗？”信息量为2bit。（为何不能这样问？）提问次数最少而能猜中的问法应该如何？错误问法：那么乙7•从8种可能性中作出判断所需信息量为3bit。•从16种可能性中作出判断所需信息量为4bit。•从N种可能性中作出判断所需信息量为：K=1/ln2=1.4427或作出判断所需bit数越大，所缺信息量越多。8例题1.13个外观相同的金币，其中一个是假的，其余均相同，用一台无砝码天平，称几次可辩伪?可能情况26最大

4、信息熵每称一次可能情况3每称一次最大信息熵需称次数解：9例题2.遗传密码问题可能情况（氨基酸数）20字符数（碱基数）4核酸：遗传信息的携带者和传递者用4种碱基编码20种氨基酸，每个密码的最少字符数？用4个字符排列的遗传语言脱氧核糖核酸DNA核糖核酸RNA102.信息熵（概率都相等），这时作出完全的判断所需要的比特数为：香农称此S为信息熵，它意味着信息量的缺损。（1）在对N种可能性完全无知的情况下，只能假定每种可能性出现的概率P都为1/N即P=1/N，记作11（2）各可能性概率不等情况信息熵定义为：>0若Pi=1/N，则过渡到各可能性等概率的情况。•“明天有雨”，这给了1bit的信息•“明天有8

5、0％概率下雨”，P1=0.8（有雨）；P2=0.2（无雨）信息熵例如天气预报：i=1,2：有两种可能，12这比全部确定所需信息（1bit）少0.722bit。该天气预报所含信息量：I=1S=0.278bit•“明天有90％概率下雨”，可算出：S=0.469，I=1S=0.531bit所以信息熵S的减少意味着信息量I的增加。在一个过程中，信息量的增量I=S∴信息可转化为负熵——信息的负熵原理133.信息熵公式和玻尔兹曼熵公式信息熵（K=1/ln2=1.4427）或信息熵单位：bit玻氏熵（k=1.3810-23J/K）玻氏熵单位：J/K两者相比：1bit=kln2（J/K）K=k1

6、4“1bit=kln2（J/K）”的物理意义：的熵必定减少kln2=0.95710-23（J/K），这至少要消耗kTln2=0.693kT（J）的能量。例如T=300K，则信息量存储增加1bit，参考书：《新概念物理教程》热学赵凯华，罗蔚茵要使计算机里信息量存储增加1bit，则它要消耗能量为2.8710-21J。—完—15