信息率失真函数与限失真信源编码

《信息率失真函数与限失真信源编码》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第七章：信息率失真函数与限失真信源编码定理本章研究内容概述失真的度量信息率失真函数限失真信源编码定理限失真信源编码定理应用实用型信源编码香农三大定理的关系和比较§7.1:概述－1无噪信道编码定理回顾：总可以找到一种输入分布（信源编码方法），使在无噪无损信道上，能够以信道容量C无误地传输信息。信源编码无噪无损信道R=C;PE=0,最佳分布消息压缩冗余度最好地利用C限：平均码长最小值Hr(S)每个码符号平均能够携带的最大信息量§7.1:概述－2有噪信道编码定理回顾：只要R

2、法，使在信道上能够以尽可能小的PE传输信息。增加冗余度，最好地匹配信道特性限：信息传输率最大值C每个信道符号平均能够携带的最大信息量信源编码信道R

3、达足够多视觉分辨：256级（黑白）已足够可以允许一定的失真度完全保真没必要§7.1:概述－5引出的研究内容限失真的信源编码问题允许一定的失真度下，能将信源信息压缩到什么程度？（最少需要多少比特才能在收端描述信源？）一定的信息传输率R下，可能达到的最小的平均失真是多少？相关问题失真如何度量？率失真函数如何计算？§7.1:概述－6方法：抽象：将与讨论重点关系小的部分抽象因为涉及信源编码，对信道进行抽象信道编码→信道→信道译码信道*研究失真影响时，“信道*”可以忽略根据信道编码定理：信道*是一个没有干扰

4、的广义信道，信宿收到信息的失真只来自于信源编码§7.1:概述－7方法：虚拟：将讨论重点虚拟细化将限失真信源的编译码过程虚拟信源编码过程→信道*→信源译码过程试验信道可以用信道传递概率来描述限失真信源编译码前后的关系信源编码信道编码信道信道译码信源译码信源信宿信源编码信道*信源译码信源信宿信源信宿试验信道UVP(V

5、U)§7.2:失真的度量－1失真度定义平均失真度保真度准则试验信道§7.2:失真的度量－2失真度定义在U,V联合空间上定义：d（ui，vj），ui∈U，vj∈V为U,V的失真测度。d（u

6、i，vj）有距离的概念性质1：ui=vj时，d=0性质2：mind=0性质3：00,ui≠vj0,ui=vj汉明距离度量时：dij=1,ui≠vj连续信源：用失真函数描述。d(u,v)=(u-v)2=

7、u-v

8、§7.2:失真的度量－4平均失真度单符号失真度：d（ui，vj）≥0，（i=1~r，j=1~s）信源的失真矩阵可表示为：共r×s个元素§7.2:失真的度量－5平均失真度平均失真度：∵U，V是随机变量；

9、∴d（ui，vj）也是随机变量平均失真度：§7.2:失真的度量－6平均失真度confer:d&d：描述了某个信源符号通过传输后失真的大小，不同的信源符号，其d不同。：描述了某一个单符号信源在某一试验信道传输下的失真，它不仅与单个符号的d有关，还与试验信道的统计特性有关。§7.2:失真的度量－7平均失真度N维信源符号序列的平均失真度：此时D为一rN×sN阶的矩阵与：d（u，v）、p(u)、p(v

10、u)、N均有关§7.2:失真的度量－8平均失真度N维信源符号序列信源平均失真度信源、信道均无记忆时：信源

11、平稳时：序列中第l个分量的平均失真度§7.2:失真的度量－9保真度准则给定D，若≤D，则称此为保真度准则对于序列信源，保真度准则为：≤ND§7.2:失真的度量－10试验信道：P(v

12、u)不是实际的信道特性矩阵，在此相当于不同的编码方法，编码方法不同，不同。定义：所有≤D的试验信道构成D失真许可的试验信道集合BD§7.3:率失真函数－1问题引出度量了失真，进一步关心的问题是：一定的失真D下，最小的信息传输率R是多少？一定的失真D下，收端再现信源需要的最低的平均信息量是多少？定义：（信息）率失真函数R

13、(D)对于N维序列信源：§7.3:率失真函数－2率失真函数的进一步解释单位：比特/信源符号（同互信息）离散无记忆信源：RN(D)=NR(D)P(v

14、u)无实际信道含义，只代表不同编码方法求R(D)就是在D条件下，选择一种编码方法，使R最小。定义域：D∈[0,Dmax]R(D)的性质：凸状性单调递减性连续性一般情况下:Dmin=0,R(Dmin)=H(U)(有条件)当D≥Dmax时，R(D)=0;而当DminR(D)>0.7.3：删除信道，求§7.3:率失