信息论与编码（汤学明）信息论与编码——b答案

《信息论与编码（汤学明）信息论与编码——b答案》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、计算机学院2011—2012学年第一学期《信息论与编码》考试试卷闭卷考试吋间：年—月—H得分评卷人得分评卷人二、名词解释(共20分,每小题5分)题号—・二三四五六七总分核对人题分10201615151212100得分专业信息安全班级学生姓名学号-、填空题(共10分，每空1分)(1)信息与信号的关系可表述为：信息是信号所载荷的内容，信号是信息的载体。(2)必然发生的随机事件的自信息量为()，不可能的随机事件若发生，则能提供的自信息量为一无穷人。(3)限平均功率的最大连续慵仅与信源随机变量的方岸(交

2、流功率)有关,其表达式为_0.51og(27iek)_。(4)固至信源，平均互直6、是信道转移概率分布的卜函数;反之，固定信道，平均互信息是信源概率分布的I门函数。(5)某单符号离散信源取值于4种不同符号构成的符号集，对其进行3次扩展，则扩展信源的符号序列数共有64种,扩展信源的最大嫡为6bit。(1)平均互信息：/(XV)是信源与信宿的互信息量在联合概率空间中的统计平均值，是从整体角度平均意义上度量信道每通过一个符号流经的平均有用信息量。(2)嫡功率：将均值为0、平均功率受限的连续信源X,将其

3、等价转换为均值为0、平均功率受限的高斯信源所得到的功率。(3)信数据处理定理：半消息经过多级处理后，随着处理器数口的增加，输入消息与输出消息之间的平均互信息量趋于变小。(4)信道疑义度：信道疑义度H(XY)表示信宿在收到丫后，对信源X仍然存在的平均不确定度，它是Y关于X的后验不定度，也是在信息道屮损失的平均信息量，也称为损失爛。得分评卷人三、计算题I(共16分)已知某单符号离散信源X以40%的概率发出60%的概率发岀“1”,经由右表所示的转移概率P(Y

4、X)到达信宿Y,试计算:(1)联合概率P

5、(XY)及反向转移概率P(XY)；(2)信息爛H(X),H(y),H(XY)；(3)条件爛H(Y

6、X),H(X

7、Y)及平均互信息Z(X；y)；01200.20.30.51().70.20.1(3分)(5分)(5分)(4)如果对X进行定长无失真信源编码，若要求编码效率为95%,译码差错率为10」，需要多少个信源符号一起编码?解：(3分)(1)由已知的P(X),P(YX)并根据及PY=PxPyX可得X,Y的概率分布为：X01Px0.40.6Y012Py0.500.240.26由p(^yj)=p

8、(^)p(yjI兀)和p(Iy})=〃(兀必)/0(兀)可得xy,xy的概率分布:⑵H(X)H(Y)=—(0.5log0.5+0.24log0.24+0.261og0.26)=1.499bit/符号//(xr)=-(0.081og0.08+2x0.12logo」2+0.21og0.2+0.42log0.42+0.06log0.06)=2.259bit/符号(3)H(Y

9、X)=H(XY)—H(X)=2.259-0.971=1.288bit/符号H(XY)=H(XY)一H(Y)=2.259-1

10、.499=0.76bit/符号Z(X；y)=H(X)-H(X

11、Y)=0.971-0.76=0.211bit/符号(4)E[/(x)]=W(X)=0.971bit/符号E[I2(x)J=0.4x(-log0.4)2+0.6x(-log0.6)2=1.025bit?/符号贝!h

12、^)=^0.971=0.051=3.145xl04L>a2[I(x)]_0.082£23_0.05

13、12x10-3得分评卷人设有一个2进制二阶马尔可夫信源，其信源符号集为{0,1},条件概率为p(0I00)=0.2,“(1111)=0.4,“(0I01)=0.5,“(0110)=0.9试求：(1)信源全部状态及一步状态转移概率矩阵；(2)画出完整的二阶马尔可夫信源的状态转移图；(3)该二阶马尔可夫信源的极限爛/和冗余度(4分)(4分)(7分)解：(1)信源全部状态为：$0：00,S]：01,归：10，$3：11一步状态转移概率矩阵为:(2)状态转移图如右图所示:00.500.4兀o=0.2龙(

14、)+0.9龙20.8坷)—0.9龙2=0'坷=0.8龙0+0」龙2即…g+gT,解得J龙2=0.5街+0.6込°一0.5街七兀2一06兀§=0龙3=0.5坷+0.4绘一0.5坷+0.6龙3=0⑶由TT=rrP及Z-=o兀i=1可得:龙2=欝兀3=弟HV22日2+】=-工工pGJpG訂®)盹p(sjIsi)i=lj==-(f-0.21og0.2+f-0.81og0.84-f-0.51og0.5+f-0.51og0.5+f0.91og0.9+f-O/llogOJ+f-0.61og0.6+f-0.4