信息论与编码第二章答案

《信息论与编码第二章答案》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第二章信息的度量2.1信源在何种分布时，嫡值最大？又在何种分布时，嫡值最小？答：信源在等概率分布时嫡值最大；信源有一个为1,其余为0时爛值最小。2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y

2、x)又是什么关系?答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y

3、x)的下凸形函数。2.3爛是对信源什么物理量的度量?答：平均信息量2.4设信道输入符号集为{xl,x2,……xk},则平均每个信道输入符号所能携带的最大信息量是多少?答:H(X)=-工q(力)

4、logq(力)=-*log*=log£2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。答：/(X;YZ)=I(X;Y)+/(X;ZIY)2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量々;y)=log如型,若互信息量取负值，即Q(xi

5、yj)

6、yj)

7、所引起的。2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源爛。答：31卩（兀1丨$0）=了”（兀2丨必）=丁44一1?由图不可知:p（x{

8、51）=-p（x1

9、5j）=—13P（^s2）=-p（x2s2）=-即：31〃0（）丨»）=T0（山I必）=7卩（吐I必）=04421/?（必丨®）=0p（®

10、5j）=-p（s2

11、5j）=-13P（SQS2）=-P（5,

12、52）=0p（$2l^2）=-可得：31P（sQ）=-p（sQ）^--p（s2）p（sj冷P（So）+*p（sJ13〃（$2）=亍

13、卩（山）+才卩（$2）/?（»））+/心）+心）=1得:卩（S（J_4HP（$2）H=一pGo)[pGoI$o)log"GoI$o)+PG1I必)logP(sI%)]-pG])[p($lIsjlogp(g

14、$])+p($2"Jlogp($2

15、sj]-p(52)[p(50

16、52)logP(5O

17、52)+p(52

18、52)logp(s2s2)]=0.25(bit/符号)21一2.7一个马尔可夫信源，已知：〃（力

19、兀1）=亍〃（兀21兀1）=亍#（力

20、兀2）=1丿（兀2

21、x2）=0试画出它的香农线图，并求出信源

22、嫡。答：3刈）蔦朋2）p(xl)=-/?(xl)+/?(x2)p(x2)=-p(xl)■,p(xl)+p(x2)=1H=-p(x)[p(x

23、%l)logp(x

24、^1)+p(x21xl)logp(x2x)]一p(x2)[p(xi

25、x2)logp(xl

26、x2)]=0.82(/?〃/符号)2.7(1)对于离散无记忆信源DMS［*］=广勺］,试证明:q(X)p-pH(X)=H2(p)=-plogp-(1-p)log(l-p)当p二1/2时，H(X)达到最大值。(2)对(1)屮的DMS,考虑它的二次扩展信

27、源X⑵={UI,xI),(xI,x2),(x2,xI),(x2,x2)}，证明:H(X⑵)=2H(X)证明:(1)函数H(X)"PlogP-(l-P)logd-P)中的变量p在o到1中取值,从函数的结构上可以知道该函数在区间［0,1］上是关于p=l/2对称的函数。H(xy=(-piogp-(i-p)iog(i-p)y1-pI-p1pIn2(1-/?)In2在区间［0,0.5］上l・p>p,则(l・p)/p>l,所以log上£>0,在此区间上H(Q>0,PH(x)单调递增。又该函数是在区间［0,1］上是关于p

28、=l/2对称的函数，那么在区间［0.5,1］±单调递减。所以，H(X)=H2(p)=-plog/?-(1-p)log(l-p)当p=l/2时，H(X)达到最大值。⑵二次扩展后的矩阵：XXyXxx}x2x2x,x2x2lq(X)］=lp2p(l-p)p(l-p)(l-p)2H(X(2})=-p2logp2-p(1-p)logp(1-p)-p(1-/?)logp(l-p)-(l-p)2log(1-p)2=-2plogp-2(1-p)log(1_〃)=2[-plogp-(1-p)log(1一“)]=2H(X)2.

29、10一副扑克牌(不用大小王)，试问(1)任意特定排列给出的信息量是多少？(2)从52张牌屮抽取13张，所给出的点数都不相同时得到多少信息量？(3)从52张牌中任意抽取1张，然后放回，结果试为从DMS中取得样本，这个DMS的嫡为多少？I(xi)=—log=225.6(比特/符号)(4)若(3)中不计颜色，爛又为多少？解：(1)413(2)I(xTog(q・)二-log(—)=log(i—:)'z£4,3*13!*3