资源描述：
《信息论与编码第二章.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、第二章2.9（1）对于离散无记忆信源DMSXqX=x1x2p1-p,试证明：H(X)=H2(p)=-plogp-(1-p)log(1-p)当p=1/2时，H(X)达到最大值。（2）对（1）中的DMS，考虑它的二次扩展信源X（2）=x1x1,x1x2,x2x1,x2x2,证明：H(X(2))=2H(X)。解：（1）函数H(X)=-plogp-(1-p)log(1-p)中的变量p在0到1中取值，从函数的结构上可以知道该函数在区间[0,1]上是关于p=1/2对称的函数。H(X)=-plogp-(1-p)log(1-p)=-log（p-1）-pp（1-p）p1ln2++1ln2(1-p)-1
2、ln2+log(1-p)-pln2(1-p)=log1-pln2(1-p)=log（1-p）p>0在区间[0，0.5]上1-p>p,则（1-p）/p>1，所以log，在此区间上H(x)>0，H(x)单调递增。又该函数是在区间[0,1]上是关于p=1/2对称的函数，那么在区间[0.5,1]上单调递减。 所以，H(X)=H2(p)=-plogp-(1-p)log(1-p)在p=1/2时，H(X)达到最大值。(2)二次扩展后的矩阵：Xq(X)=x1x1x1x2x2x1x2x2p2p1-pp1-p（1-p）2H(X(2))=-p2logp2-p(1-p)log2p(1-p)-2p(1-p)l
3、ogp（1-p）=2[-plogp(1-p)-(1-p)log(1-p)p-2(1-p)log(1-p)p-(1-p)log(1-p)]=2H(X)2.11(1)一个无偏骰子，掷骰子的熵为多少？（2）如果骰子的被改造使得某点出现的概率与其点数成正比，那么熵为多少？（3）一对无偏骰子，各掷一次，得到总点数为7，问得到多少信息量？解：（1）H（x）=-log1/6=log6=2.58(bit/符号)（2）由q(xi)=kxi得21k=1即k=1/21H(x)=-1/21(log1/21)-2/21(log2/21)-3/21(log3/21)-4/21(log4/21)-5/21(log
4、5/21)-6/21(log6/21)=2.36（bit/符号）（3）I（A+B=7）=-log1/6=log6=2.58(bit)2.12一个盒子中放有100个球，其中60个球是黑色的，40个球是白色的。（1）随机摸取一个球，求获得的自信息量。（2）进行放回摸取n次，求这n次所得到的平均自信息量。解：（1）I（xi）=-log1/100=log100(bit)(2)总信息量为：nI(x1)P(x1)+nI(x2)P(x2)平均：(1/n)[nI(x1)P(x1)+nI(x2)P(x2)]=0.93(bit)2.19给定信源[xq(x)]=[x1x20.60.4],(1)该信源是平稳
5、信源吗？计算信源熵；（2）计算H（x3），并列出信源[x3q(x3)];(3)计算H（x3
6、x1x2）及N维扩展信源在N趋于无穷时的熵limN→∞HN（x）.解：（1）H（x）=-0.6log0.6-0.4log0.4(bit/符号)H（x）<=NH(x)是平稳信源（2）H(x3)=i=13H(xi)=3H(x)=-1.8log0.6-1.2log0.4(bit/符号)X=x3={x1x1x1,x1x1x2,x2x1x1,x1x2x1,x1x2x2,x2x1x2,x2x2x1,x2x2x2}记xixjxt=bk,k=0……7则[x3q(x3)]=[b0b1b227/12518/125
7、18/125b3b4b518/12512/12512/125b6b712/1258/125](3)H(x3
8、x1x2)=-ijpx1x2x3logφ(x3
9、x1x2)N维扩展信源在N趋于无穷时，q(x(i)j)几乎相等。所以，-i+jlogq(xj(i))=-ijlog1=0所以，N维扩展信源在N趋于无穷时的熵limN→∞HNx=0。2.27证明几何分布xq(x)=x1x2…xi…pp1-p…p(1-p)i-1…的熵为H(X)=H2(p）p。证明：由题意可得，x的二维扩展概率分布为：xixjqxixj=x1x1x1x2…x1xix2x1x2x2…p2p1-p…p21-pi-1p21-
10、pp21-p2…x2xi&…xix1xix2…xixip2(1-p)i-1…p2(1-p)i-1p2(1-p)i-1…p2(1-p)i-1H（x）=-plogp-p(1-p)logp(1-p)…-p(1-p)i-1logp(1-p)i-1H2(p)=-p2logp2-p2(1-p)logp2(1-p)…-p2(1-p)2i-2logp2(1-p)2i-2将H2（p）进行化简，可得：H2（p）=H（x）p所以，H（x）=H2（p）p
