资源描述：
《信息论与编码课件第二章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第二章信源和信息熵离散信源的信息熵连续信源的信息熵信源分类和描述第二章作业教材第59页~62页2.1，2.2，2.3(1)(2)，2.4，2.8，2.13，2.14，2.16信源分类和描述信源分类和描述=离散信源连续信源=信源分类和描述单符号信源X符号序列信源XN（N次扩展信源）信源分类和描述无记忆信源有记忆信源信息的特性事件（消息）的信息量大小与其不确定度（概率）有关事件概率越小，信息量越大确定性事件的信息量为零，不可能事件的信息量为无穷大信息量具有可加性离散信源符号的信息量信息量定义信息量单位
2、对数的底a=2时，信息量单位为比特(bit）对数的底a=e时，信息量单位为奈特(nat）对数的底a=3时，信息量单位为铁特(Tet）对数的底a=10时，信息量单位为哈特(Hart）-离散信源符号的信息量P(x)I(X)=log2(p)离散信源的信息熵(Entropy)信息熵定义(信息量的统计平均或者说数学期望)信息熵单位对数的底a=2时，信息熵单位为比特/符号(bit/符号）对数的底a=e时，信息熵单位为奈特/符号(nat/符号）对数的底a=3时，信息熵单位为铁特/符号(Tet/符号）对数的底a=
3、10时，信息熵单位为哈特/符号(Hart/符号）H(X)==–离散二元信源的信息熵离散信源信息熵的含义H(X)表示信源的平均不确定度——平均信息量H(X)表示信源的随机性H(X)表示信源输出每个符号所提供的平均信息量H(X)表示信宿所能获得的最大信息量条件自信息量与条件熵条件自信息量定义条件熵定义(条件自信息量的统计平均)I(x
4、y)=log=-logp(x
5、y)====联合自信息量与联合熵联合自信息量定义联合熵定义(联合自信息量的统计平均)I(xy)=log=-logp(xy)===自信息量、条
6、件信息量、联合信息量 三者之间的关系当事件x和事件y相互独立时有信息熵、条件熵、联合熵 三者之间的关系当集合X和集合Y相互独立时有例题有两个二元随机变量X和Y，它们的联合概率为并定义另一随机变量Z=X·Y（一般乘积)，试计算：熵H(X)、H(Y)、H(Z)、H(X,Z)、H(Y,Z)、H(X,Y,Z)条件熵H(X
7、Y)、H(X
8、Z)、H(Z
9、X)、H(Z
10、Y)、H(Y
11、Z)、H(Y
12、XZ)、H(Z
13、XY)(3)互信息I(X;Y),I(X;Z),I(Y;Z);I(X;Y
14、Z),I(Y;Z
15、X)和I(
16、X;Z
17、Y)p(xy)x=0x=1y=01/83/8y=13/81/8解：(1)根据和的联合概率分布，分别求得X、Y和Z的边沿概率分布如下：010101½½½½7/81/8和以及和的联合概率分布函数分别为：010101/2001/2013/81/813/81/8、和的联合分布函数为根据上述概率分布函数，分别求得：(2)根据(1)得到的联合概率分布和边沿概率分布函数，求得如下条件概率分布010101/43/404/7013/41/413/710101013/41/4又因为因此所以(3)熵函数H(p)
18、的性质信息熵H(X)的函数表达——H(p)(1)对称性(2)非负性(离散信源)(3)扩展性熵函数H(p)的性质(4)确定性(5)可加性(6)极值性熵函数H(p)的性质熵函数H(p)的性质(7)上凸性小结：信息熵——信息论中的最基础的基本概念——对随机变量不确定性的最好的度量——用来描述信源的信息特性互信息量的提出与定义互信息量提出互信息量定义互信息量=（收到消息之前关于某事件的不确定度）-（收到消息之后关于该事件的不确定度）=消息不确定度的减小量设某班学生在一次考试中获优（A）、良（B）、中（C）
19、、及格（D）和不及格（E）的人数相等。当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？例解：令P(x)表示“得到老师通知前甲的成绩的不确定性（概率）”P(x
20、y)表示“得到老师通知后甲的成绩的不确定性（概率）”则P(x)=1/5，P(x
21、y)=1/4总的需要信息剩余信息获得信息条件互信息量与联合互信息量条件互信息量定义联合互信息量定义自信息量与互信息量的区分（表达方式和含义上）信息量互信息量自信息量与互信息量的联系平均互信息量平均互信息量定义平均条件互信
22、息量定义平均联合互信息量定义(1)非负性(2)互易性(3)极值性平均互信息量I(X;Y)的性质不具有非负性(4)I(X;Y)与信息熵的关系(5)凸函数性平均互信息量I(X;Y)的性质当p(y
23、x)给定时，I(X;Y)是p(x)的上凸函数。当p(x)给定时，I(X;Y)是p(y
24、x)的下凸函数。I(X;Y)与信息熵的关系I(X;Y)=0H(X)H(Y)H(XY)集合X与集合Y相互独立的情况I(X;Y)与信息熵的关系H(XY)H(X
25、Y)H(Y
26、X)H(X)H(Y)H(X
27、Y)——含糊
