《信息论与编码》部分课后习题参考答案.pdf

《《信息论与编码》部分课后习题参考答案.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、《信息论与编码》部分课后习题参考答案1.1怎样理解消息、信号和信息三者之间的区别与联系。答:信号是一种载体，是消息的物理体现，它使无形的消息具体化。通信系统中传输的是信号。消息是信息的载体，信息是指消息中包含的有意义的内容，是消息中的未知成分。1.2信息论的研究范畴可以分成哪几种，它们之间是如何区分的？答：信息论的研究范畴可分为三种：狭义信息论、一般信息论、广义信息论。1.3有同学不同意“消息中未知的成分才算是信息”的说法。他举例说，他从三岁就开始背诵李白诗句“床前明月光，疑是地上霜。举头望明月，低头思故乡。”，随着年龄的增长，离家求学、远

2、赴重洋，每次读到、听到这首诗都会带给他新的不同的感受，怎么能说这些已知的诗句没有带给他任何信息呢？请从广义信心论的角度对此现象作出解释。答：从广义信息论的角度来分析，它涉及了信息的社会性、实用性等主观因素，同时受知识水平、文化素质的影响。这位同学在欣赏京剧时也因为主观因素而获得了享受，因此属于广义信息论的范畴。1.4从香农信息论的角度看来，分别播送半小时新闻联播和半小时的轻音乐，听众接受到的信息是否相同，为什么？答：新闻联播是语言，频率为300~3400Hz，而轻音乐的频率为20~20000Hz。同样的时间内轻音乐的采样编码的数据要比语音的

3、数据量大，按码元熵值，音乐的信息量要比新闻大。但是在信宿端，按信息的不确定度，信息量就应分别对待，对于新闻与音乐的信息量大小在广义上说，因人而异。第二章2.1同时掷两个骰子，设每个骰子各个面向上的概率都是1/6。试求：（1）事件“2和6同时出现”的自信息量；（2）事件“两个3同时出现”的自信息量；（3）事件“两个点数中至少有一个是5”的自信息量；（4）两个点数之和的熵。答：（1）事件“2和6同时出现”的概率为：该事件的自信息量：I(X)=–lb(1/18)=lb18=4.170bit/次（2）事件“两个3同时出现”的概率为该事件的自信息量：

4、I(X)=–lb(1/36)=lb36=5.170bit/次（3）事件“两个点数中至少有一个是5”的概率为：该事件的自信息量：I(X)=–lb(11/36)=1.1710bit/次（4）两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：éXùìï23456789101112üïêú=í11115151111ýëP(X)ûïî3618129366369121836ïþH

5、(X)=-åp(xi)logp(xi)iæ111111115511ö=-ç2´log+2´log+2´log+2´log+2´log+log÷è36361818121299363666ø=3.274bit/symbol2.2如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，从别人的答案中你能获得多少信息量（假设已知星期一至星期日得排序）？答：若不知道今天是星期几，则答案可能有7种，这7种都是有价值的，所以答案的信息量为：若知道是星期几，则从别人的答案中获得的

6、信息量为0。2.3每帧电视图像可以认为是3*10^5个像素构成，所有像素均独立变化，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像喊多少信息量？如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并且彼此独立）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？答：由于每一象素取128个不同的亮度电平，各个亮度电平等概率出现。因此每个亮度电平包含的信息量为I(X)=–lb(1/128)=lb128=7bit/像素每帧图像

7、中像素均是独立变化的，因此每帧图像信源就是离散亮度电平信源的无记忆N次扩展。由此，每帧图像包含的信息量为N56I(X)=NI(X)=3´10´7=2.1´10bit/帧广播员在约10000个汉字中选取字汇来口述此电视图像，各个汉字等概分布，因此每个汉字包含的信息量为I(Y)=–lb(1/10000)=lb1000=13.29bit/字广播员述电视图像是从这个汉字字汇信源中独立地选取1000个字进行描述，因此广播员描述此图像所广播的信息量是N4I(Y)=NI(Y)=1000´13.29=1.329´10bit/字N由于口述一个汉字所包含的信息

8、量为I(Y)，而一帧电视图像包含的信息量是I(X)，因此广播员要恰当地描述此图像，需要的汉字数量为：N6IX()2.1´105==´1.5810字IY()13.292.4某居住地