资源描述：
《信息论基础—— 期末试卷 b 答案new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、大学2008-2009学年第一学期2006级信息与计算科学专业本科卷B参考答案与评分标准课程名称信息论基础课程号（???）考试形式（闭卷笔试）时间（120分钟））一、（15分）解：（1）由图可知一阶马尔可夫信源的状态空间，平稳后信源的概率分布就等于一阶马尔可夫信源状态的极限分布，即，；，；----------------（1分）从状态图中分析可知，这三个状态都是正规常返态，所以此马尔可夫链具有各态历经性，平稳后状态的极限分布存在。可得状态一步转移矩阵，----------------（2分）得：，----------------（2分
2、）则可得：；----------------（2分）(2)一阶马尔可夫信源的熵；----------------（4分）(3)当,当,；----------------（2分）因为信息熵是表示信源的平均不确定性，题中当或时表明信源从某一状态出发转移到另一状态的情况是一定发生或一定不发生，即是确定的事件。当时，从0状态一定转移到2状态，2状态一定转移到1状态，1状态一定转移到0状态。所以不论从何状态起信源输出的序列一定是021021序列，完全确定的。当第4页共5页时，0状态永远处于0状态，1状态永远处于1状态，2状态用于处于2状态。信源
3、输出的符号序列也是确定的。所以当或时，信源输出什么符号不存在不确定性，完全是确定的，因此确定信源的信息熵等于零。----------------（4分）二、（20分）解：如下图所示,其中；----------------（2分）----------------（2分）它们都是二元对称离散信道；又因为，；所以这个和信道容量为：----------------（4分）其中，Q1的利用率其中，Q2的利用率----------------（2分）由此得：----------------（2分）三、（12分）解：要将此信源编码成为 r元唯一可译
4、变长码，其码字对应的码长必须满足克拉夫特不等式，即；----------------（5分）所以要满足，其中r是大于或等于1的正整数；----------------（2分）可见，当时，不能满足Kraft不等式；----------------（1分）第4页共5页当时,,不能满足Kraft；----------------（1分）当时,,满足Kraft；----------------（1分）所以，求得的最大值下限值等于3。----------------（2分）四、(15分)解：信源的概率分布为：二元霍夫曼码：00，10，11，01
5、0，011；----------------（7分）码长：2，2，2，3，3；----------------（2分）当信源给定时，二元霍夫曼码是最佳二元码；所以对于概率分布为的信源，其最佳二元码就是二元霍夫曼码。----------------（2分）这二元霍夫曼码一定是三个信源符号的码长为2（码符号/信源符号），另二个信源符号的码长为3（码符号/信源符号），其平均码长最短。因此，上述对概率分布为信源所编的二元霍夫曼码也是概率分布为信源的最佳二元码。----------------（4分）五、(20分)解：令信道输入为时输出的转移概
6、率为，则最小错误概率译码实际上为最大后验概率译码，其中----------------（3分）对于给定的和所有的，其必然相同，所以就可化为比较如下式子----------------（3分）则当先验等概时上式化为，此即最大似然译码。----------------（4分）所以，当先验等概时，最小错误概率译码与最大似然译码是等价的。---------（2分）因为且输入等概，所以由题可知，当收到判为时应为错，同理，收到区间中任一序列，判为也为错。这样：；----------------（4分）当收到的序列属于Y3时无法判定为X1或X2，但
7、此时必然有错误发生。所以，有错而不能判决的概率为：----------------（4分）六、(18分)第4页共5页解：信源（1）0.469比特/符号----------------（2分）剩余度0.531=53.1％；----------------（2分）(2)码符号，对信源S编紧致码为：，----------------（2分）其平均码长码符号/信源符号；----------------（1分）(3)当时=----------------（2分）紧致码（即霍夫曼码）为码字0,10,110,111码长1,2,3,3--------
8、--------（3分）平均码长=0.645码符号/信源符号时，=----------------（1分）对信源进行霍夫曼编码，其紧致码为码字0,100,101,110,11100,11101,11110,11111码长
