第2章 信源及信源熵-2

《第2章 信源及信源熵-2》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章信源及信源熵离散信源熵和互信息离散信源熵和互信息问题：什么叫不确定度？什么叫自信息量？什么叫平均不确定度？什么叫信源熵？什么叫平均自信息量？什么叫条件熵？什么叫联合熵？联合熵、条件熵和熵的关系是什么？离散信源熵和互信息问题：什么叫后验概率？什么叫互信息量？什么叫平均互信息量？什么叫疑义度？什么叫噪声熵（或散布度）？数据处理定理是如何描述的？熵的性质有哪些？自信息量设离散信源X，其概率空间为Xx1x2…xnPp(x1)p(x2)…p(xn)如果知道事件xi已发生,则该事

2、件所含有的信息量定义为:I(x)logp(x)ii自信息量I(xi)含义:当事件xi发生以后,表示事件xi所含有的信息量自信息的单位的确定在信息论中常用的对数底是2,信息量的单位为比特(bit)；若取自然对数,则信息量的单位为奈特(nat);若以10为对数底,则信息量的单位为笛特(det)1nat＝loge≈l.433bit，2ldet＝log10≈3.322bit2自信息量与不确定度不确定度：随机事件的不确定度在数量上等于它的自信息量。说明:两者的单位相同，但含义却不相同。具有某种概率分布的随机事件不管发生与

3、否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。自信息量二进制码元0,1,当符号概率为p(0)=1/4,p(1)=3/4,则这两个符号的自信息量为：I(0)=－log(1/4)=log4=2bit22I(1)=－log(3/4)=0.4151bit2一个以等概率出现的二进制码元(0，1)所包含的自信息量为：I(0)=I(1)=－log(1/2)=log2=1bit22一个m位的二进制数,有2m个等概率的可能组合I=－log(1/2m)=mbit2自信息量I(x)的特性：i⑴I(x)是

4、非负值i⑵当p(x)=1时，I(x)=0ii⑶当p(x)=0时，I(x)=∞ii⑷I(x)是先验概率p(x)的单调递减函数，即ii当p(x)＞p(x)时，I(x)＜I(x)1212⑸两个独立事件的联合信息量等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。自信息量一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小；一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大；若是确定性事件，出现概率为1，则它包含的不确定度为0。自信息量联合自信息量两个消

5、息xi，yj同时出现的联合自信息量I(xy)logp(xy)ijij•注意:•当xi,yj相互独立时，有p(xiyj)=p(xi)p(yj)，那么就有I(xiyj)=I(xi)+I(yj)。•xiyj所包含的不确定度在数值上也等于它们的自信息量。自信息量条件自信息量在事件yj出现的条件下，随机事件xi发生的条件概率为p(xi

6、yj)，则它的条件自信息量定义为条件概率对数的负值：I(xi

7、yj)logp(xi

8、yj)注意:在给定yj条件下,随机事件xi所包含的不确定度在数值上与条件自信息量相同,但两者含义不同。离散信源熵例：

9、一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。解:依据题意,这一随机事件的概率空间为Xx1x2P0.80.2其中：x1表示摸出的球为红球事件，x2表示摸出的球是白球事件.如果摸出的是红球，则获得的信息量是I(x1)=－log2p(x1)=－log20.8bit如果摸出的是白球，则获得的信息量是I(x2)=－log2p(x2)=－log20.2bit如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n次，红球出现的次

10、数为np(x1)次，白球出现的次数为np(x2)次。随机摸取n次后总共所获得的信息量为np(x1)I(x1)+np(x2)I(x2)平均自信息量平均随机摸取一次所获得的信息量为1H(X)[np(x)I(x)np(x)I(x)]1122n[p(x)logp(x)p(x)logp(x)]11222p(xi)log2p(xi)0.72bit/符号i1•H(X):平均信息量,称为信源X的熵。信源熵、香农熵离散信源熵离散信源熵H(X)(平均不确定度/平均信息量/平均自信息量)定义信源的平均不确定度H(X)为信源中各个

11、符号不确定度的数学期望，即：H(X)p(xi)I(xi)p(xi)logp(xi)ii单位为比特/符号或比特/符号序列信源熵与自信息的比较信源熵：从平均意义上来表征信源的总体信息测度的一个量。