第8章 无失真的信源编码.ppt

《第8章 无失真的信源编码.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第8章无失真的信源编码赵越2011.11香农编码定理虽然指出了理想编码器的存在性,但是并没有给出实用码的结构及构造方法；编码理论正是为了解决这一问题而发展起来的科学理论；编码的目的是为了优化通信系统，就是使这些指标达到最佳；通信系统的性能指标主要是有效性、可靠性、安全性和经济性，除了经济性外，这些指标正是信息论研究的对象。按不同的编码目的，编码分为三类：信源编码、信道编码和安全编码/密码。2信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平比特数或信

2、源的码率。即同样多的信息用较少的码率传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。信道编码：是以提高信息传输的可靠性为目的的编码。通过增加信源的冗余度来实现。采用的一般方法是增大码率/带宽。与信源编码正好相反。密码：是以提高通信系统的安全性为目的的编码。通常通过加密和解密来实现。从信息论的观点出发，“加密”可视为增熵的过程，“解密”可视为减熵的过程。3信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。无失真信源编码定理：是离散信源/数字信号编码的基础；限失真信源编码定理：是

3、连续信源/模拟信号编码的基础。信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。离散信源编码：独立信源编码，可做到无失真编码；连续信源编码：独立信源编码，只能做到限失真信源编码；相关信源编码：非独立信源编码。4有些编码原理和技术在通信原理和信号处理等相关课程中介绍。例如：连续信源编码：脉冲编码调制(PCM)、矢量量化技术；相关信源编码：预测编码：增量编码、差分脉冲调制(DPCM)、自适应差分脉冲调制(ADPCM)、线性预测声码器；变换编码：K-L变换、离散变换、子带编码、小波变换。5无失真信源编

4、码和限失真信源编码的应用前者主要用于离散信源或数字信号，如文本、表格及工程图纸等信源，要求进行无失真的数据压缩，要求能够无失真地可逆恢复;后者主要用于波形信源或波形信号，如语音、电视图像、彩色静止图像等信号，它们不要求完全可逆地恢复，而是允许在一定限度可以有失真的压缩。两者目的都是为了用较少的码率来传送同样多的信息，提高系统有效性。6香农第一定理给出了信源熵与编码后的平均码长之间的关系，同时也指出可已通过编码使平均码长达到极限值，因此，香农第一定理是一个极限定理。但定理中并没有告诉我们如何来构造这种码。最佳

5、变长码：凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合称为最佳变长码。7我们学习三种编码方法：香农码、霍夫曼码以及费诺码。这三种码的平均码长都比较短。因为平均码长是各个码的概率平均，可以想象，应该使出现概率大的信源符号编码后码长尽量短一些。三种编码方法的出发点都是如此。8香农编码香农编码严格意义上来说不是最佳码。香农编码是采用信源符号的累计概率分布函数来分配码字。8.1霍夫曼码9香农编码方法如下：(1)将信源消息符号按其出现的概率大小依次排列：(2)确定满足下列不等式的整数码长Ki：

6、(3)为了编成唯一可译码，计算第i个消息的累加概率10(4)将累加概率Pi变换成二进制数。(5)取Pi二进制数的小数点后Ki位即为该消息符号的二进制码字。可以证明，这样得到的编码一定是唯一可译码，且码长比较短，接近于最佳编码。11信源消息符号xi符号概率p(xi)x10.20x20.19x30.18x40.17x50.15x60.10x70.01例：设信源共有7个符号组成，其概率如表所示，求其香农码。1213以i=4为例，累加概率Pi=0.57，变成二进制数，为0.1001…。转换的方法是：用Pi乘以2，如

7、果整数部分有进位，则小数点后第一位为1，否则为0，将其小数部分再做同样的处理，得到小数点后的第二位，依此类推，直到得到了满足要求的位数，或者没有小数部分了为止。14例如现在Pi=0.57，乘以2为1.14，整数部分有进位，所以小数点后第一位为1，将小数部分即0.14再乘以2，得0.28，没有整数进位，所以小数点后第二位为0，依此类推，可得到其对应的二进制数为0.1001…。可以看出，编码所得的码字，没有相同的，所以是非奇异码，也没有一个码字是其它码字的前缀，所以是即时码，也是唯一可译码。15平均码长为：平均

8、信息传输效率为16注意：此例中，X6与X7的码字完全可以采用长度为3的其他的码字代替，而没有必要采用码长4和7。香农编码的效率不高，实用意义不大，但对其它编码方法有很好的理论指导意义。一般情况下，按照香农编码方法编出来的码，其平均码长不是最短的，也即不是紧致码(最佳码)。只有当信源符号的概率分布使不等式左边的等号成立时，编码效率才达到最高。17