资源描述：
《信息论习题.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、信息理论习题集信息理论基础习题集【考前必看】一、判断：1、必然事件和不可能事件的自信息量都是0。2、自信息量是的单调递减函数。3、单符号离散信源的自信息和信源熵都具有非负性。4、单符号离散信源的自信息和信源熵都是一个确定值。5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的6、自信息量、条件自信息量和联合自信息量之间有如下关系：7、自信息量、条件自信息量和互信息量之间有如下关系：8、当随机变量X和Y相互独立时，条件熵等于信源熵。9、当随机变量X和Y相互独立时，I（X；Y）=H（X）。10、信源熵具有严格的下凸
2、性。11、平均互信息量I（X；Y）对于信源概率分布p（xi）和条件概率分布p（yj/xi）都具有凸函数性。12、m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同。13、利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。14、定长编码的效率一般小于不定长编码的效率。15、信道容量C是I（X；Y）关于p（xi）的条件极大值。16、离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。17、信道无失真传递信息的条件是信息率小于信道容量。18、最大信息传输速率，即：选择某一信源的概率分布（p
3、（xi）），使信道所能传送的信息率的最大值。19、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。20、率失真函数对允许的平均失真度具有上凸性。21、信源编码是提高通信有效性为目的的编码。22、信源编码通常是通过压缩信源的冗余度来实现的。23、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。24、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。25、在编m（m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。26、对于BSC信道，
4、信道编码应当是一对一的编码，因此，消息m8信息理论习题集的长度等于码字c的长度。27、汉明码是一种线性分组码。28、循环码也是一种线性分组码。29、卷积码是一种特殊的线性分组码。30、可以用克劳夫特不等式作为唯一可译码存在的判据。（）31、线性码一定包含全零码。（）32、确定性信源的熵H(0,0,0,1)=1。（）33、信源X的概率分布为P(X)={1/2,1/3,1/6}，对其进行哈夫曼编码得到的码是唯一的。（）34、离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。（）35、非奇异的定长码一定是唯一可译码。
5、（）36、信息率失真函数R(D)是在平均失真不超过给定失真限度D的条件下，信息率容许压缩的最小值。（）37、信源X的概率分布为P(X)={1/2,1/3,1/6}，信源Y的概率分布为P(Y)={1/3,1/2,1/6}，则信源X和Y的熵相等。（）38、互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。（）39、对信源符号X={a1,a2,a3,a4}进行二元信源编码，4个信源符号对应码字的码长分别为K1=1，K2=2，K3=3，K3=3，满足这种码长组合的码一定是唯一可译码。（）40、设C={000000,001011,0
6、10110,011101,100111,101100,110001,111010}是一个二元线性分组码，则该码最多能检测出3个随机错误。（）二、选择题（共10分，每题2分）1.下面表达式中正确的是（）。A.B.C.D.4.线性分组码不具有的性质是（）。A.任意多个码字的线性组合仍是码字B.最小汉明距离等于最小非0重量C.最小汉明距离为3D.任一码字和其校验矩阵的乘积cmHT=05.率失真函数的下限为（）。A.H(U)B.0C.I(U;V)D.没有下限6.纠错编码中，下列哪种措施不能减小差错概率（）。A.增大信道容量B.增大码长
7、C.减小码率D.减小带宽7.一珍珠养殖场收获2408信息理论习题集颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（）。A.0bitB.log6bitC.6bitD.log240bit8.下列陈述中，不正确的是（）。A.离散无记忆信道中，H（Y）是输入概率向量的凸函数B.满足格拉夫特不等式的码字为惟一可译码C.一般地说，线性码的最小距离越大，
8、意味着任意码字间的差别越大，则码的检错、纠错能力越强D.满足格拉夫特不等式的信源是惟一可译码10.下列离散信源，熵最大的是（）。A.H（1/3,1/3,1/3）；B.H（1/2,1/2）；C.H（0.9,0.1）；D.H（1/2,1/4,1/8,1/8)11.下列不属于消息的
