信息论基础第三章信道容量-习题答案

《信息论基础第三章信道容量-习题答案》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、xx｝3.1设信源p(x)=j0604通过一干扰信道，接收符号为Y二｛力，力｝，信道转移矩阵为5丄求:66丄2'44(D信源X中事件七和事件X2分别包含的自信息量；(2)收到消息yj(j=l,2)后,获得的关于益(匸厶2丿的信息量;(3)信源X和信宿丫的信息爛；⑷信道疑义度丿和噪声')^H(Y/X)；(5)接收到信息F后获得的平均互信息量。解：1)/（%!）=一log?）=-log20.6=0.737bit/（Q=-log2p（x2）=-log20.4=1.322bit2）P（X）=卩（兀1）P（X/£）+卩也）/兀2）=0・6x：+0.4x&=0.6

2、6413p（『2）=P（兀1）P（%/兀1）+P（%2）P（%/兀2）=°・6X；+0.4X二=0.464=log9^=0.474bitPM0.6/（州；力）=log2=log2=-1.2630（旳）0.4/（■X2；x）=log2P®/兀）=]og2兽=_1.263（J.o3/4=log.^=0.907心0.4pWI（x2;y2）=og2"（力/兀2）bitbitbit3）H（X）=一工p{xi）logp（xj=-（0.6log0.6+0.4log0.4）log210=0.971bit/symboliH（y）=一工#（儿）logp（y訂=-（0.6

3、1og0.6+0.41og0.4）log210=0.971bit/symbolH(Y/X)=-工工p(xjp(yj/兀)log卩(儿/兀)••IJ55111133=-(0.6x—log—+0.6x—log—+0.4x—log—+0.4x—log—)xlog21066664444=0.715bitIsymbol・・・H(X)+H(Y/X)=H(Y)+H(X/Y)・•・H(X/Y)=H(X)+H(Y/X)-H(Y)=0.971+0.715-0.971=0.715bit!symbol5)7(X；y)=H(X)—H(X/Y)=0.971-0.715=0.256

4、bit/symbol3.2设二元对称信道的传递矩阵为]_323⑴⑵解:1)若P(0)=3/4,P(l)=1/4,求H(X),H(}7¥丿和I(X;Y)；求该信道的信道容量及其达到信道容量时的输入概率分布;331iH(X)=一工p(xi)=-(—xlog2—+—xlog2—)=0.811bit/symbolH(Y/X)=-工工p(xjp(y)/x.)logp(y}/兀)••IJz32,23111L11212A1in=-(-x-lg-+-x-lg-+-x-lg-+-x-lg-)xlog210433433433433〜=0.918bit/symbol3211

5、=+p(兀2〉i)=〃(兀I)"O1/Xi)+P(X2)P(H/x2)=-^x-+-x-=0.58333112"02)=〃(西『2)+〃(兀2力)=〃(无1)”(丁2/兀1)+〃(兀2)〃02/兀2)—x—+—x—=0.41674343H(Y)=—工〃(兀)=-(0.5833xlog20.5833+0.4167xlog20.4167)=0.980bit/symbol/(X；y)=H(X)-H(X/Y)=H(Y)—H(Y/X)H(X/Y)=H(X)-W(r)+W(y/X)=0.811-0.980+0.918=0.749bit/symbolZ(X;y)=H

6、(X)-H(X/y)=0.811-0.749=0.062bit!symbol2）对于二进制对称信道C=max/(X；y)=log2m-Hmi=log22+(-lg—+—lg—)xlog210=0.082bit/symbolpM=-^■X-P(X)_3.11已知离散信源xxx20.10.3兀X40.20.40.20.30.10.40.60.20.10.10.50.20」0.20.10.30.40.2，某信道的信道矩阵为试求:（1）（2）（3）解：1）p(x2/y3)=P（兀2）卩（力/兀2）p(y3)03x0.10.22=0.136“输入匕输出防'的概率

7、；“输出W啲概率；“收到旳的条件下推测输入血'的概率。p(x3y2)=p(x3)p(y2/x3)=0.2x0.2=0.042)P(y4)=P(兀l)p(》4/兀1)+卩(兀2)卩(”/兀2)+"(兀3巾(丿4/兀3)+PMp(y4/X4)=0.1x0.4+0.3x0・1+0.2x0・2+0.4x0・2=0・193）〃（儿）=）〃（儿/兀1）+〃（无2）〃（儿/兀2）+〃（兀3）〃（儿/®）+〃（兀4）0（儿/兀）=0.1x0.!+0.3xO.l+0.2xO.l+0.4x0.4=0.223.14试求以下各信道矩阵代表的信道的容量:「00101000(1)

8、[P]二0001_0100"100100010(2)[P]二010001_0010.10.20