信息论与编码课后答案.docx

《信息论与编码课后答案.docx》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2.1一个马尔可夫信源有3个符号u1,u2,u3，转移概率为：pu1

2、u11/2，pu2

3、u11/2，pu3

4、u10，pu1

5、u21/3，pu2

6、u20，pu3

7、u22/3，pu1

8、u31/3，pu2

9、u32/3，pu3

10、u30，画出状态图并求出各符号稳态概率。解：状态图如下1/2u11/31/21/32/32/3u3u2状态转移矩阵为：1/21/20p1/302/31/32/30设状态u1，u2，u3稳定后的概率分别为W1，W2、W3111W1W2W3W11023

11、3W11225WPW由W1W3W2得23计算可得W29W1W2W312W2W3325W3625W1W2W312.2由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0

12、00)=0.8，p(0

13、11)=0.2，p(1

14、00)=0.2，p(1

15、11)=0.8，p(0

16、01)=0.5，p(0

17、10)=0.5，p(1

18、01)=0.5，p(1

19、10)=0.5。画出状态图，并计算各状态的稳态概率。解：p(0

20、00)p(00

21、00)0.8p(0

22、01)p(10

23、01)0.5p(0

24、1

25、1)p(10

26、11)0.2p(0

27、10)p(00

28、10)0.5p(1

29、00)p(01

30、00)0.2p(1

31、01)p(11

32、01)0.5p(1

33、11)p(11

34、11)0.8p(1

35、10)p(01

36、10)0.50.80.200000.50.50.50.500000.20.8于是可以列出转移概率矩阵：p状态图为：0.8000.2010.50.50.50.50.210110.8设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有WPW40.8W10.2W1得0.

37、5W20.5W3W10.5W3W20.2W4W3W15141717514W2计算得到Wi1i10.5W20.8W4W4W3W1W2W3W41W42.7设有一离散无记忆信源，其概率空间为Xx10x21x32x43P3/81/41/41/8（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量18解：I(x1)log2log2p(x1)31.415

38、bit同理可以求得I(x2)2bit,I(x3)2bit,I(x3)3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：I14I(x1)13I(x2)12I(x3)6I(x4)87.81bit87.81平均每个符号携带的信息量为1.95bit/符号452.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。（1））如果仅对颜色感兴趣，则计算平均不确

39、定度（2））如果仅对颜色和数字感兴趣，则计算平均不确定度（3））如果颜色已知时，则计算条件熵解：令X表示指针指向某一数字，则X={1,2,.,38}Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色}Y是X的函数，由题意可知p(xiyj)p(xi)（1））H(Y)312381838p(yj)loglog2log1.24bit/符号j1p(yj)3823818（2））H(X,Y)H(X)log2385.25bit/符号（3））H(X

40、Y)H(X,Y)H(Y)H(X)H(Y)5.251

41、.244.01bit/符号2.11两个实验X和Y，X={x1x2x3},Y={y1y2y3},l联合概率rxi,yjrij为r11r12r137/241/240r21r22r231/241/41/24r31r32r3301/247/24（1））如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？（2））如果有人告诉你Y的实验结果，你得到的平均信息量是多少？（3））在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？解：联合概率YXp(xi,yj)为y1y2y3

42、H(X,Y)p(xi,yj)log2ij1p(xi,yj)x17/241/240x21/241/41/24x301/247/24X概率分布Xx1x2x3P8/248/248/24724112log22474log22424log244=2.3bit/符号H(Y)31log231.58bit/符号3H(X

43、Y)H(X,Y)H(Y)2.31.58Y概率分布是=0.72bit/符号Yy1y2y3P8/248/248/242.16黑白传真机的消息元只有黑色和白色两种，即X={