信息论与编码试卷F

《信息论与编码试卷F》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、一填空题（本题15空,每空1分,共15分）1联合熵H(X,Y)的定义为（），表示的是联合事件的（平均不确定性），它与H(X)和H(Y)之间的大小关系是（H(X,Y)≤H(X)+H(Y)），等号在（X与Y统计独立）时成立。2设有一离散无记忆信源X，其概率空间为，则该信源熵=（1.5）比特/符号；若将该信源进行二次扩展，即形成新的符号系列{a1a1,a1a2,a1a3,a2a1,a2a2,a2a3,a3a1,a3a2,a3a3}，则二次扩展信源熵=（3）比特/符号序列。两者的关系为（二次扩展信源熵=2×原始

2、信源熵）。3无失真信源编码的要求主要有2个：（精确地复现信源的输出）和（保证信源的全部信息无损的送给信宿）。4最小码距dmin是衡量一种码的检、纠错能力的重要参数，最小码距越（大），其纠、检错能力越（强），具体描述为（检错能力+纠错能力

3、机化，可通过卷积的方法使噪声分摊到码字序列上，而不是一个码字上，从而使噪声均化。（）（3）当信道固定时，平均互信息是信源分布的∪型凸函数。（）（4）线性分组码的最小码距等于非零码字的最小码重。（）（5）对于任一信源X，其信源熵H(X)〉0。（）（6）率失真函数R(D)的定义域为[0，H（X）]。（）（7）哈夫曼编码是用概率匹配方法进行的信源编码方法。（）（8）事件xi和事件yj之间的互信息量具有非负性，并且具有对称性。（）（9）条件熵H（X

4、Y）可以衡量信号通过信道后损失信息量的多少；H（Y

5、X）表示收

6、到全部输出符号后，对信道输入符号集尚存在的平均不确定性。（）（10）设（7，4）循环码的生成多项式为g(x)=x3+x+1，当接收码字为0010011时，接收码字中有错。（）三名词解释（本题4小题,每小题5分,共20分）1对称DMC信道DMC信道中，信道的转移概率矩阵P的每行都是第一行的置换，每列都是第一列的置换，即输入和输出都是对称的，称为对称DMC信道。2延长码又称非即时码，接收端收到一个完整的码字后，不能立即译码，还需要等下一个码字开始接收后才能判断是否可以译码，这种码称为延长码。3信息率失真函数

7、当p(xi)一定时，互信息I(X;Y)是关于p(yj/xi)的∪型凸函数，存在极小值，这个极小值被定义为信息率失真函数。4前向纠错FEC发送端发送能纠正错误的编码，在接收端根据接收到的码和编码规则，能自动纠正传输中的错误。四计算题（本题3小题,共25分）1设以8000样值/s的速率抽样一语音信号，并以M=256级队抽样均匀量化，设抽样值取各量化值的概率相等，且抽样间相互统计独立，求：1）每抽样的信息熵；2）信源的信息输出率。(3+3=6分)解：1）因256级量化值概率相等，且抽样间相互统计独立，则2）信

8、源的信息输出率为：R=rH(X)=8000*8=6.4*104bps2某六进信源进行二进编码如下表：符号概率C1C2C3a11/20101a21/410000001a31/161100001100a41/161110010101a51/161011110110a61/161101101011请问：C1、C2和C3码中，那些是唯一可译码？请写出判断方法。（9分）答：C1：不满足克劳夫特不等式，所以肯定不是唯一可译码；C2、C3是唯一可译码；判断方法：看码的后缀分解集不包含码字，则该码为唯一可译码。3一个系

9、统线性分组码的码字由下式确定：a=(a1,a2,a3,a4,a1+a2+a3+a4,a1+a3,a1+a2,a1+a4)，求：1）n，k以及生成矩阵G；2）监督矩阵H；3）该分组码的最小距离dmin。（4+3+3=10分）解：1）n=8,k=4（2分）生成矩阵G=（2分）2)监督矩阵H=（3分）3）所有码字为00000000，00011001，00101100，00110101，01001010，01010111，01100110，01111111，10001111，10010110，10100011，

10、10111000，11000101，11011010，11101001，11110000∴3（3分）五综合题（本题3小题,共30分）1设二维随机变量（X，Y）的联合概率分布为：P(xy)X01Y01/61/611/31/3求：的值。（12分）解：H(XY)==2×()=1.924bit/符号（2分）H(Y)==2×()=1bit/符号（2分）H(X)===0.924bit/符号（2分）H(X/Y)=H(XY)-H(Y)=1.924-1=0.