信息论基础其中考试试题.doc

《信息论基础其中考试试题.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、北京城市学院值息学部练习试卷得分一、填空题(每空2分，共40分)题号(40)(10)(10)四(40)总分(100)阅卷人签字得分1.1948年，美国数学家发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。2.对于离散无记忆信源，当信源爛有最大值时，满足条件为o3.信源编码的h的是提高通信的性，信道编码的n的是提高通信的性。4.有一信源X,其概率分布为人卷电x斗1/21/41/81/8若对该信源进行100次扩展，其每扩展符号的平均信息量是。5.r进制信源的最小爛为,最大爛为o6.根据码字所含的码

2、元的个数，编码可分为编码和编码。7.平均互信息的最大值为，最小值为o8.在下面空格屮选择填入数学符号“=,NS〉”或“〈"(1)当X和Y相互独立时，H(XY)H(X)+H(X/Y)H(Y)+H(X)。9.确定信源的爛H(1,0,0,0)=o10.必然事件的自信息是,不可能事件的自信息是o11.根据各维随机变量的概率分布是否随时间的推移而变化，信源可分为非平稳信源和□5.若取对数的底为2,则自信息的单位是；爛的单位是得分二、判断题（每小题I分，共10分）1.信息是一种消息。（）2.必然事件和不可能事件的自

3、信息量都是0。（）3.互信息可正、可负、可为零。（）4.非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（）5.Kraft不等式是唯一可译码存在的充要条件。（）6.马尔可夫信源在某一时刻发出某一符号的概率除与该符号有关外，只与此前发岀的有限个符号有关。（）7.信源的爛和互信息量都一定是非负的。（）8.将信源的某个消息分解成多个消息时，爛増大。（）9.信息是对事物运动状态或存在方式的不确定性的描述。（）10.互信息和炳的单位相同。（）初三、证明题（10分）分1.证明：联合爛、条件爛和信息爛之间满足H

4、(XY)=H(X)+H(Y

5、X)得分四、计算题（每小题10分，共30分）1.（10分）已知信源X,Yw{0,l},XY构成的联合概率为13卩(舛=0,/?]=0)=p(ci2=1厶=1)=_,p(a{=0,h2=1)=p@2=10=0)=—88计算H(Y)，H(XY),H(XfY)o2.（10分）有一个二元二阶马尔可夫信源，其信源符号集为{0,1},输出符号的条件概率定为P(0

6、00)=P(l

7、ll)=0.8P(l

8、00)=尸(0

9、11)=0.2P(0

10、01)=P(0

11、10)=P(1101)=P(111

12、0)=0.5试画出该信源的状态转移图，并写出该信源的状态转移矩阵。1.某一无记忆信源的符号集为{0,1},已知p（）=l/4,p,=3/4o（1）求符号“0”的自信息量。（2）求信源的爛；（3）由100个符号构成的序列，求某一特定序列（例如有加个0和100-/H个1）的信息量。