[工学]信息论基础 -率失真函数 -练习与思考

《[工学]信息论基础 -率失真函数 -练习与思考》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、当一个人感到有一种力量推动他去翱翔时，他是决不应该爬行的。－（美）海伦·凯勒9/8/20211我相信，每一份努力，都会换来一份收获！失真度设离散无记忆信源为第四章总结9/8/20212我相信，每一份努力，都会换来一份收获！对每一对(xi,yj)，指定一个非负函数d(xi,yj)≥0i=1,2,…,nj=1,2,…,m称d(xi,yj)为单个符号的失真度/失真函数。表示信源发出一个符号xi，在接收端再现yj所引起的误差或失真。9/8/20213我相信，每一份努力，都会换来一份收获！平均失真度定义d(xi,yj)只能表示两个特定的具体符号xi和

2、yj之间的失真。平均失真度：平均失真度为失真度的数学期望，9/8/20214我相信，每一份努力，都会换来一份收获！平均失真度意义是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性p(xi)、信道统计特性p(yj/xi)和失真度d(xi,yj)的函数。当p(xi)，p(yj/xi)和d(xi,yj)给定后，平均失真度就不是一个随机变量了，而是一个确定的量。如果信源和失真度一定，就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。9/8/20215我相信，每一份努力，都会换来一份收获！允许平均失真度：率失真函数中的自

3、变量D，也就是人们规定的平均失真度的上限值。率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大值问题。D的选取必须根据固定信源X的统计特性P(X)和选定的失真函数d(xi,yj)，在平均失真度的可能取值范围内。9/8/20216我相信，每一份努力，都会换来一份收获！常用的失真函数第一种当a=1时称为汉明失真矩阵。第二种/平方误差失真矩阵：d(xi,yj)=(yj－xi)29/8/20217我相信，每一份努力，都会换来一份收获！单符号信源和单符号信道的信息率失真函数在信源和失真度给定以后，PD是满足保真度

4、准则的试验信道集合，平均互信息I(X;Y)是信道传递概率p(yj/xi)的下凸函数，所以在PD中一定可以找到某个试验信道，使I(X;Y)达到最小，即这个最小值R(D)称为信息率失真函数，简称率失真函数。在信源给定以后，总希望在允许一定失真的情况下，传送信源所必须的信息率越小越好。从接收端来看，就是在满足保真度准则的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的最小值。9/8/20218我相信，每一份努力，都会换来一份收获！求信息率失真函数的方法信息率失真函数R(D)是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所

5、必须获得的最小平均信息量。它反映的是信源可压缩程度。率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源，其R(D)是不同的。9/8/20219我相信，每一份努力，都会换来一份收获！对偶问题：信道容量和信息率失真函数的问题，都是求平均互信息极值问题。分三个方面说明：求极值问题平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n)的上凸函数，信道容量就是在固定信道情况下，求平均互信息极大值的问题，即I(X;Y)又是信道转移概率分布p(yj/xi)(i=1,2,…,n;j=1,2,…,m)的

6、下凸函数，信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即9/8/202110我相信，每一份努力，都会换来一份收获！特性信道容量C一旦求出后，就只与信道转移概率p(yj/xi)有关，反映信道特性，与信源特性无关；信息率失真函数R(D)一旦求出后，就只与信源概率分布p(xi)有关，反映信源特性，与信道特性无关。解决的问题信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现；信息率失真函数是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实

7、现。9/8/202111我相信，每一份努力，都会换来一份收获！限失真信源编码定理：设一离散平稳无记忆信源的输出随机变量序列为X=(X1,X2,…,XL)，若该信源的信息率失真函数是R(D)，并选定有限的失真函数。对于任意允许平均失真度D≥0，和任意小的ε>0，当信息率R>R(D)，只要信源序列长度L足够长，一定存在一种编码方式C，使译码后的平均失真度；反之，若R

8、仍能满足要求，否则就不能满足要求。9/8/202112我相信，每一份努力，都会换来一份收获！研究信道编码和率失真函数的意义研究信道容量的意义：在实际应用中，研究信道容量是为了解决