姜丹 信息论与编码习题参考答案.doc

《姜丹 信息论与编码习题参考答案.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2002CopyrightEELab508信息论与编码习题参考答案第一章单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量；(2)“两个5同时出现”这一事件的自信息量；(3)两个点数的各种组合的熵；(4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。解：(3)信源空间：X(1,1)(1,2)(1,3)(1,4)(1,5)(1,6)P(X)1/362/362/362/362/362/36X(2,2)(2,3)(2,4)(2,5)(2,6)P(x)1/362/362/362/362/36X(3,3)(3

2、,4)(3,5)(3,6)P(x)1/362/362/362/36X(4,4)(4,5)(4,6)P(x)1/362/362/36X(5,5)(5,6)(6,6)P(x)1/362/361/36(4)信源空间：X23456789101112P(x)1/362/363/364/365/366/365/364/363/362/361/36(5)1.2如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya）,（Xb，Yb）,但A，B不能同时落入同一方格内。（1）若仅有质点A，求A落入任一方格的平均信息量；（2）若

3、已知A已落入，求B落入的平均信息量；（3）若A，B是可辨认的，求A，B落入的平均信息量。解：©H.F.2002CopyrightEELab5081.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？解：1.4某一无记忆信源的符号集为｛0，1｝，已知（1）求符号的平均信息量；（2）由1000个符号构成的序列，求某一特定序列（例如有m个“0”,

4、（1000-m）个“1”）的自信量的表达式；（3）计算（2）中序列的熵。解：©H.F.2002CopyrightEELab5081.5设信源X的信源空间为：求信源熵，并解释为什么H(X)>log6，不满足信源熵的极值性。解：1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s）。解：1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑

5、白系统的信息率大2.5倍左右。证:©H.F.2002CopyrightEELab5081.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？解:1.9给定一个概率分布和一个整数m，。定义，证明：。并说明等式何时成立？证：©H.F.2002CopyrightEELab5081.10找出两种特殊分布:p1≥p2≥p3≥…≥

6、pn，p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。解：1.15两个离散随机变量X和Y，其和为Z＝X＋Y，若X和Y统计独立，求证：(1)H(X)≤H(Z),H(Y)≤H(Z)(2)H(XY)≥H(Z)证明：第二章单符号离散信道2.1设信源通过一信道，信道的输出随机变量Y的符号集©H.F.2002CopyrightEELab508,信道的矩阵：试求：(1)信源X中的符号a1和a2分别含有的自信息量；(2)收到消息Y＝b1，Y＝b2后，获得关于a1、a2的互交信息量：I(a1;b1)、I(a1;b2)、I(

7、a2;b1)、I(a2;b2)；(3)信源X和信宿Y的信息熵；(4)信道疑义度H(X/Y)和噪声熵H(Y/X)；(5)接收到消息Y后获得的平均互交信息量I(X;Y)。解:2.2某二进制对称信道，其信道矩阵是：设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进制符号，并设在这消息中p(0)=p(1)=0.5。问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。解:©H.F.2002CopyrightEELab5082.3有两个二元随机变量X和Y，它们的联合概率为P[X=0,Y=0]=1/8，P[X=0,

8、Y=1]=3/8，P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。定