信息论与编码课后作业答案

《信息论与编码课后作业答案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2.4设离散无记忆信源，其发出的信息为(202120130213001203210110321010021032011223210)，求(1)此消息的自信息量是多少？(2)此消息中平均每符号携带的信息量是多少？解：(1)此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：此消息的信息量是：(2)此消息中平均每符号携带的信息量是：2.10对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：若把这些频度看作概率测度，求：(1)忙闲的无条件熵；(2)天气状态和气温状态已知时忙闲的条件熵；(3)从

2、天气状态和气温状态获得的关于忙闲的信息。解：(1)根据忙闲的频率，得到忙闲的概率分布如下：(2)设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量Z(3)2.11有两个二元随机变量X和Y，它们的联合概率为YXx1=0x2=1y1=01/83/8y2=13/81/8并定义另一随机变量Z=XY（一般乘积），试计算：(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)；(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)；(3)I(X;Y),I(X;Z),I(Y

3、;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。解：(1)Z=XY的概率分布如下：(2)(3)2.13设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0)=0.4，P(1)=0.6的概率发出符号。(1)试问这个信源是否是平稳的？(2)试计算H(X2),H(X3/X1X2)及H∞；(3)试计算H(X4)并写出X4信源中可能有的所有符号。解：(1)这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号……”(2)(3)2.16一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0,1,2}。

4、(1)求平稳后信源的概率分布；(2)求信源的熵H∞。解：(1)(2)