资源描述：
《第4章信息率失真函数》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第4章信息率失真函数4.1平均失真和信息率失真函数4.2离散信源和连续信源的R(D)计算14.1平均失真和信息率失真函数在前面几章的讨论中，其基本出发点都是如何保证信息的无失真传输。但在许多实际应用中，人们并不要求完全无失真地恢复消息，而是只要满足一定的条件，近似地恢复信源发出的消息就可以了。24.1平均失真和信息率失真函数然而，如何对失真进行描述？什么是允许的失真？信源输出信息率被压缩的最大程度是多少？信息率失真理论回答了这些问题，其中香农的限失真编码定理定量地描述了失真，研究了信息率与失真的关系，论述了在限失真范围内的信源编码问题。34.1
2、.1失真函数输入符号集X:{a1,a2,…,an}中有n种不同的符号xi(i=1,2,…,n)；输出符号集Y:{b1,b2,…,bm}中有m种不同的符号yj(j=1,2,…,m)；对于图所示的系统，对应于每一对(xi,yj)(i=1,2,…,n；j=1,2,…,m)，定义一个非负实值函数4.1平均失真和信息率失真函数XYP(Y/X)44.1平均失真和信息率失真函数表示信源发出符号xi而经信道传输后再现信道输出符号集合中的yj所引起的误差或失真，称之为xi和yj之间的失真函数。54.1平均失真和信息率失真函数失真函数d(xi,yj)(i=1,2,
3、…,n;j=1,2,…,m)共有(nm)个具体值，按xi和yj的对应关系，排列成一个(nm)阶矩阵，如下式所示d称为信道{X-P(Y/X)-Y}的失真矩阵。64.1平均失真和信息率失真函数例4.1设信源符号X{0,1}，编码器输出符号Y{0,1,2}，规定失真函数为d(0,0)=d(1,1)=0d(0,1)=d(1,0)=1d(0,2)=d(1,2)=0.5则得失真矩阵74.1平均失真和信息率失真函数说明：失真函数d(xi,yj)的数值是依据实际应用情况，用yj代替xi,所导致的失真大小是人为决定的。比如上例中，用y=2代替x=0和x=
4、1所导致的失真程度相同，用0.5表示；而用y=0代替x=1所导致的失真程度要大，用1表示。失真函数d(xi,yj)的函数形式可以根据需要任意选取，例如平方代价函数、绝对代价函数、均匀代价函数等。84.1平均失真和信息率失真函数最常用的失真函数均方失真：绝对失真：相对失真：误码失真：前三种失真函数适用于连续信源，后一种适用于离散信源。94.1平均失真和信息率失真函数失真函数的定义可以推广到序列编码情况，如果假定离散信源输出符号序列X=(X1X2…Xl…XL)，其中L长符号序列样值xi＝(xi1xi2…xil…xiL)，经信源编码后，输出符号序列Y
5、=(Y1Y2…Yl…YL)，其中L长符号序列样值yj＝(yj1yj2…yjl…yjL)，则失真函数定义为：104.1平均失真和信息率失真函数其中d(xil，yjl)是信源输出L长符号样值xi中的第l个符号xil时，编码输出L长符号样值yj中的第l个符号yjl的失真函数。114.1平均失真和信息率失真函数4.1.2平均失真由于xi和yj都是随机变量，所以失真函数d(xi,yj)也是随机变量，要分析整个信源的失真大小，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真，记为124.1平均失真和信息率失真函数式中，p(aibj),i
6、=1,2,…,n,j=1,2,…,m是联合分布；p(ai)是信源符号概率分布；p(yj
7、xi)是符号转移概率分布；d(ai,bj),i=1,2,…,n,j=1,2,…,m是离散随机变量的失真函数。平均失真D是对给定信源分布p(ai)经过某一种转移概率分布为p(bj
8、ai)的有失真信源编码器后产生失真的总体量度。134.1平均失真和信息率失真函数对于连续随机变量同样可以定义平均失真对于L长序列编码情况，平均失真为144.1平均失真和信息率失真函数4.1.3信息率失真函数R(D)信源编码器XY假想信道将信源编码器看作信道15信源编码器的目的是使编码
9、后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足平均失真D的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。4.1平均失真和信息率失真函数164.1平均失真和信息率失真函数将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(yj/xi)就对应信道转移概率。174.1平均失真和信息率失真函数1、D允许试验信道平均失真由信源分布p(xi)、假想信道的转移概率p(y
10、j/xi)和失真函数d(xi，yj)决定，若p(xi)和d(xi，yj)已定，则可给出满足下式条件的所有转移概率分布pij，它们构成了一个信道集合PD
