信息论与编码课后习题答案.doc

《信息论与编码课后习题答案.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第二章课后习题【2.1】设有12枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，1“12枚硬币中，某一枚为假币”该事件发生的概率为P=；121“假币的重量比真的轻，或重”该事件发生的概率为P=；2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I=log12+log2=log24比特1而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P=，因此天3平每一次消除的不

2、确定性为I=log3比特因此，必须称的次数为I1log24=»2.9次Ilog32因此，至少需称3次。【延伸】如何测量？分3堆，每堆4枚，经过3次测量能否测出哪一枚为假币。【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的，111因此该种情况发生的概率为P=´=，该事件的信息量为：6636I=log36»5.17比特“两骰子总点数之和为8”共有如下可能：2和6、3和5、

3、4和4、5和3、6和2，概115率为P=´´5=，因此该事件的信息量为：663636I=log»2.85比特5111“两骰子面朝上点数是3和4”的可能性有两种：3和4、4和3，概率为P=´´2=，6618因此该事件的信息量为：I=log18»4.17比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为1P=，因此此时从答案中

4、获得的信息量为7I=log7=2.807比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0比特。【2.4】居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示女孩是大学生，P(A)=0.25；B表示女孩身高1.6米以上，P(B

5、A)=0.75，P(B)=0.5“身高1.6米以上的某女孩是大学生”的发生概率为P(AB)P(A)P(B

6、A)0.25´0.75P(A

7、

8、B)====0.375P(B)P(B)0.5已知该事件所能获得的信息量为1I=log»1.415比特0.375éXùéa1=0a2=1a3=2a4=3ù【2.5】设离散无记忆信源êú=êú，其发出的消息为ëP(x)ûë3/81/41/41/8û（202120130213001203210110321010021032011223210），求（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？解：信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量

9、分别为：8I(a=0)=log=1.415比特03I(a=1)=log4=2比特1I(a=2)=log4=2比特2I(a=3)=log8=3比特3在发出的消息中，共有14个“0”符号，13个“1”符号，12个“2”符号，6个“3”符号，则得到消息的自信息为：I=14´1.415+13´2+12´2+6´3»87.81比特45个符号共携带87.81比特的信息量，平均每个符号携带的信息量为87.81I==1.95比特/符号45注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得H(X)=-åP(x)l

10、ogP(x)=1.91比特/符号【2.6】如有6行8列的棋型方格，若有二个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为（XA,YA）和（XB,YB），但A和B不能落入同一方格内。（1）若仅有质点A，求A落入任一个格的平均自信息量是多少？（2）若已知A已落入，求B落入的平均自信息量。（3）若A、B是可分辨的，求A、B同都落入的平均自信息量。解：（1）求质点A落入任一格的平均自信息量，即求信息熵，首先得出质点A落入任一格的概率空间为：éXùéa1a2a3La48ùêú=ê1111úëPûêLúë48484848û平均自信息量为H(A)=log

11、48=5.58比特/符号（2）已知质点A已落入，求B落入的平均自信息量，即求H(B

12、A)。1A