06-限失真信源编码

《06-限失真信源编码》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、信息率失真(Rate-Distortion)函数保真度准则下的信源编码定理限失真信源编码17-Jul-211理论上“消息完全无失真传送”的可实现性信道编码定理：无论何种信道，只要信息率R=(Klog2m)/L小于信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C的传输率来传送信息。反之，若R>C，则传输总要失真。实际上“消息完全无失真传送”的不可实现性无失真传送的条件为R>H(x)，而实际的信源常常是连续的，H(x)为无穷大，于是要求R为无穷大，而信道编码定理要求R

2、真传输，所需的信息率大大超过信道容量R>>C，必然会失真。17-Jul-212有些失真没有必要完全消除（限失真信源编码）实际应用中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。打电话：即使语音信号有一些失真，接电话的人也能听懂。放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。信息率失真理论-------信息率失真函数香农定义了信息率失真函数R(D)。定理指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到的极限最小值为R(D)。17-Jul-213在允许一定失真程度的

3、条件下，怎样用尽可能少的信道符号来表达信源的信息，也就是信源熵所能压缩的极限或者说编码后信源输出的信息率压缩的极限值，这就是限失真信源编码要讨论的问题。限失真信源编码也称保真度准则下的信源编码、熵压缩编码或者称信息率失真理论，它是量化、数模转换、频带压缩和数据压缩的理论基础。无失真的冗余度压缩编码主要是针对离散信源。限失真的熵压缩编码主要是针对连续信源。17-Jul-214信息率失真函数是I(X;Y)的极小值I(X;Y)是P(X)和P(Y/X)的二元函数；固定p(xi)，变更p(yj/xi)来求平均互信息的值。由于I(X;Y)是p(yj/xi)的下凸函数，所求的极值

4、一定是极小值。但若X和Y相互统计独立(p(yj/xi)=p(yj))，求出的I(X;Y)极小值为0，因为I(X;Y)是非负的，0必为极小值，但是这样求出的极小值0毫无意义(对应完全失真)。引入一个失真函数，计算在一定失真的情况下I(X;Y)的极小值才有意义。17-Jul-215失真度设离散无记忆信源为对每一对(xi,yj)，指定一个非负函数d(xi,yj)≥0i=1,2,…,nj=1,2,…,m称d(xi,yj)为单个符号的失真度/失真函数。它表示信源发出一个符号xi，在接收端再现yj所引起的误差或失真。17-Jul-216均方失真：绝对失真：相对失真：误码失真：失

5、真函数的表达17-Jul-217常用的失真函数失真函数是根据人们的实际需要，人为规定的。常用的失真函数有(1)绝对失真：汉明失真汉明失真矩阵D通常为方阵，且对角线上的元素为0。即(2)均方失真：平方误差失真函数如果信源符号代表信源输出信号的幅度值，则上式意味着较大的幅度差值要比较小的幅度差值引起的失真更为严重，严重程度用平方表示。17-Jul-218失真矩阵失真度表示成矩阵的形式，称[D]为失真矩阵。它是n×m阶矩阵。d(x,y)≥017-Jul-219平均失真度平均失真度：平均失真度为失真度的数学期望17-Jul-2110平均失真度意义是信源统计特性p(xi)、信

6、道统计特性p(yj/xi)和失真度d(xi,yj)的函数。当p(xi)，p(yj/xi)和d(xi,yj)给定后，平均失真度就是一个确定的量。如果p(xi)和d(xi,yj)一定，就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。保真度准则保真度准则：规定平均失真度不能超过某一限定的上限值D，即，则D就是允许失真的上界。该式称为保真度准则。将保真度准则作为信道传递概率的约束条件，再求I(X;Y)的最小值就有实际意义。17-Jul-2111试验信道当固定信源（P(X)已知），符号失真度也给定时，选择信道使。凡满足要求的信道称为D失真许可的试验信道所有试验

7、信道构成的集合用PD来表示，即17-Jul-2112信息率失真函数在信源和失真度给定以后，PD是满足保真度准则的试验信道集合，由于I(X;Y)是信道传递概率p(yj/xi)的下凸函数，所以在PD中一定可以找到某个试验信道，使I(X;Y)达到最小，即R(D)称为信息率失真函数。在信源给定以后，总希望在允许一定失真的情况下，传送信源所需要的信息率越小越好。从接收端来看，就是在满足保真度准则的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的最小值。17-Jul-2113研究率失真函数的意义是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信