信息理论基础 .ppt

《信息理论基础 .ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章信息的统计度量2.1自信息量和条件自信息量2.2互信息量和条件互信息量2.4离散集的平均互信息量2.3离散集的平均自信息量2.5连续随机变量的互信息和相对熵本章教学要求：1、熟练掌握消息的自信息量和条件自信息量以及互信息量和条件互信息量2、熟练掌握离散集的平均自信息和平均互信息量3、了解连续随机变量的互信息和相对熵2.1自信息量和条件自信息量2.2.1自信息量2.2.2条件自信息量定义：一个随机事件的自信息量定义为其出现概率对数的负值。即:1.自信息量说明：因为概率越小，的出现就越稀罕，一旦出现，所获得的信息量也就较大。由于是随机出现的，它是X的一个样值，所以是一个随机量。而是的

2、函数，它必须也是一个随机量。2.2.1自信息量自信息量的单位的确定在信息论中常用的对数底是2，信息量的单位为比特（bit）；若取自然对数，则信息量的单位为奈特（nat）；若以10为对数底，则信息量的单位为笛特（det）。这三个信息量单位之间的转换关系如下：1nat＝log2el.433bit，ldet＝log2103.322bit典型例子一个以等概率出现的二进制码元（0，1）所包含的自信息量为：I（0）=I（1）=-log2（1/2）=log22=1bit若是一个m位的二进制数，因为该数的每一位可从0,1两个数字中任取一个，因此有2m个等概率的可能组合。所以I=-log2(1/2m)=

3、mbit，就是需要m比特的信息来指明这样的二进制数。定义：随机事件的不确定度在数量上等于它的自信息量．说明:两者的单位相同，但含义却不相同。具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。2.不确定度一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小；反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大；若是确定性事件，出现概率为1，则它包含的不确定度为0。两个消息xi，yj同时出现的联合自信息量说明：当xi,yj相互独立时，有P(xiyj)

4、=P(xi)P(yj)，那么就有I(xiyj)=I(xi)+I(yj)。xiyj所包含的不确定度在数值上也等于它们的自信息量。2.2.2条件自信息量定义：在事件yj出现的条件下，随机事件xi发生的条件概率为，则它的条件自信息量定义为条件概率对数的负值：说明：在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。1.条件自信息量例子英文字母中“e”出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。解：“e”的自信息量I（e）=-log20.105=3.25bit“c”的自信息量I（c）=-log

5、20.023=5.44bit“o”的自信息量I（o）=-log20.001＝9.97bit2.2互信息量和条件互信息量2.2.1互信息量2.2.2条件互信息量2.2.2互信息量的性质2.2.1互信息量信源X有扰离散信道信宿Y干扰源图1简化通信系统模型基本概念1.什么叫信源X的先验概率p(xi)?由于信宿事先不知道信源在某一时刻发出的是哪一个符号,所以每个符号消息是一个随机事件。信源发出符号通过有干扰的信道传递给信宿。通常信宿可以预先知道信息X发出的各个符号消息的集合,以及它们的概率分布，即预知信源X的先验概率p(xi)。2.什么叫后验概率?当信宿收到一个符号消息yj后，信宿可以计算信源

6、各消息的条件概率p(xi/yj),i=1,2,…N,这种条件概率称为后验概率。3.什么叫互信息量？互信息量为后验概率与先验概率比值的对数:即两个离散随机事件集X和Y，事件yi的出现给出关于xi的信息量，定义为互信息量。根据对数函数的性质知，互信息量等于自信息量减去条件自信息量。或者说互信息量是一种消除的不确定性的度量。即疑义度。什么叫疑义度？信道上的干扰和噪声所造成的对信源符号X的平均不确定度I（X／Y），称为疑义度。I（xi;yj）=log说明:在通信系统中，若发端的符号是X，而收端的符号是Y，I（X；Y）就是在接收端收到Y后所能获得的关于X的信息。若干扰很大，Y基本上与X无关，或说

7、X与Y相互独立，那时就收不到任何关于X的信息.若没有干扰，Y是X的确知一一对应函数，那就能完全收到X的信息H（X）。2.2.1互信息量的性质互信息量具有下述四个主要性质：Ⅰ.互易性证明：附：I（X；Y）＝I（X）一I（X／Y）证明:Ⅱ.互信息量可以为零当事件xi,yi统计独立时，互信息量为零，即I（Xi；Yi）＝0证明：由于xi,yi统计独立，则有p（Xi；Yi）＝p（Xi）p（Yi）则即不能从观测yi获得关于另一个事件xi的任何信息。