资源描述：
《《信息论、编码与密码学》课后习题答案.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、《信息论、编码与密码学》课后习题答案第1章信源编码1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。解：信源熵H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]=[0.521+0.5+0.464+0.411+0.332]=2.228(bit)故得其信源熵H(X)为2.228bit1.2证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。解：若二元离散信源的统计特性为P+Q=1H(X)
2、=-[P*log(P)+(1-P)*log(1-P)]对H(X)求导求极值，由dH(X)/d(P)=0可得可知当概率P=Q=1/2时，有信源熵对于三元离散信源，当概率时，信源熵，此结论可以推广到N元的离散信源。1.3证明不等式。画出曲线和的平面图以表明上述不等式的正确性。证明：Y=lnxY=x-1yx1绘制图形说明如下可以很明确说明上述不等式的正确性。1.4证明1.5有一个信源X，它有无穷多个可能的输出，它们出现的概率为P（Xi）=2i-1,i=1,2,3,….,这个信源的平均自信息H（X）是什么？解：因为P（Xi）=2i-1,i=1
3、,2,3,…所以H（X）=-=-log2(2+2.22+3.23+…..+n.2n)=2-（1-n）2n+11.6考虑另一个几何分布的随机变量X，满足P（Xi）=P（1-P）i-1i=1,2,3,…..,这个信源的平均自信息H（X）是什么？解：因为P（Xi）=P（1-P）i-1,i=1,2,3,所以H（X）=-=-logp(1-p)[p(1-p)+2p(1-p)2+3p(1-p)3+…….+np(1-p)n]=(1-n)(1-p)n+1-1.7考虑一个只取整数值的随机变量，满足，其中，。求熵。解：为了方便计算，设，则，；根据公式计算自
4、信息量为：；则熵为：=？1.8计算概率分布函数为的均匀分布随机变量的微分熵。画出相对于参数的平面图，并对结果进行评论。解：根据公式（1-21）可知，微分熵为：当时，，则当或时，，则根据得到的结果可以画出相应的平面图，由图可以看到随着的增加，即的减小，微分熵相应的增加。00.1101.9考虑一个信源的概率为的DMS。（1）给出此信源的霍夫曼码。（2）计算出这些码子的平均码长。（3）这个码的效率是多少？解：1）依题意，由霍夫曼编码的规则，得：1.000.650.400.200.350.250.200.150.05表格如下：符号概率自信息码
5、字0.351.51510.252.000010.202.3220000.152.73800100.054.32200112）由平均码长公式,代入数据，得：3）首先，该信源的熵为：该码的效率为：1.10考虑一个信源概率为{0.35，0.20，0.15，0.15，0.10，0.10，0.05，0.05}的DMS。(1)给出此信源的一种有效定长码。(2)给出此信源的霍夫曼码。(3)比较这两种码并给出评论。解：1）空2）依题意，由霍夫曼编码的规则，得:符号概率自信息码字0.202.322010.202.3220000.152.7380010.
6、152.7381000.101.0001010.101.0001100.054.32211100.054.32211112）空1.11一个DMS只有三个输出符号，它们的概率为{0.5，0.4，0.1}。(1)给出此信源的霍夫曼码并确定编码效率。(2)每次考虑两个符号时，给出此信源的霍夫曼码并确定编码效率。(3)每次考虑三个符号时，给出此信源的霍夫曼码并确定编码效率。解：(1)本题的霍夫曼编码如下图所示：0.50.40.1010.5101.0图1.11霍夫曼编码则霍夫曼码如下表：符号概率码字x10.51x20.400x30.101该信源
7、的熵为：平均每个符号的比特数为：该码的效率为：（2）把符号每两个分一组，重新应用霍夫曼编码算法，如下表所示：符号对概率码字x1x10.2500x1x20.20010x2x10.20011x2x20.161010x1x30.05100x3x10.05110x2x30.041011x3x20.041110x3x30.011111该信源的熵为：每个组的平均比特数为:故该码的效率为：(3)依题意，把符合每三个分成一组，再重新应用霍夫曼编码算法，得:编码表格如下：符号对概率自信息码字0.12502.70901000.10003.32230000
8、0.10003.322300010.10003.32231100.08003.64430110.08003.644301000.08003.644301010.06403.966200110.02505.32231011
