无失真信源编码及其定理课件.ppt

《无失真信源编码及其定理课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章无失真信源编码4.1编码器及码的分类4.2等长码4.4等长信源编码定理4.5变长码4.6变长信源编码定理4.7霍夫曼码和其它编码方法4.8几种实用的无失真信源编码小结第四章无失真信源编码本章的重、难点内容1、理解等长码和等长信源编码定理2、理解和掌握变长码及变长码编码定理3、理解Huffman编码、费诺码、香农码4、了解几种实用的无失真信源编码方法，包括（MH编码、算术编码、LZ码）第四章无失真信源编码编码的意义：通信的基本问题：如何高速、高质地传送信息。高速和高质＝鱼和熊掌。编码讨论的问题：（1）质量一定，如何提高信息传输速度（提高编码效

2、率或压缩比）----信源编码（本章讨论问题）（2）信道传输速度一定，如何提高信息传输质量（抗干扰能力）----信道编码（下一章讨论）引言信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。即同样多的信息用较少的码率传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。引言信道编码：是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率/带宽。与信源编码正好相反。密码：是以提高通信系统的安全性为目的的编码。通常通过加密和解密

3、来实现。从信息论的观点出发，“加密”可视为增熵的过程，“解密”可视为减熵的过程。引言信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。无失真信源编码定理：是离散信源/数字信号编码的基础；限失真信源编码定理：是连续信源/模拟信号编码的基础。引言信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。离散信源编码：独立信源编码，可做到无失真编码；连续信源编码：独立信源编码，只能做到限失真信源编码；相关信源编码：非独立信源编码。4.1编码器及码的分类编码：信息的组织方式编码的实质：对信源的原始符号按一定的数学规则进行变换。编码的

4、目的：信源编码：提高信息传输的有效性信道编码：提高信息传输的可靠性本章不考虑干扰问题4.1编码器及码的分类无失真编码器结构框图几个术语：信源符号：信源输入码符号(码元)：编码器信源码字符号集4.1编码器及码的分类码字Wi：由xj(j=1,2,…,r)组成的长度为li的序列，Wi与si一一对应。码字长度(码长)：Wi的长度li编码器：将信源符号si变换成Wi的设备信源编码信源编码：把信源符号si映射为码字Wi的过程。无失真编码：映射是一一对应、可逆的。信源编码基本思想：尽可能缩短出现概率大的信源符号的码字4.1编码器及码的分类码的分类二元码：若码符

5、号集X＝{0，1}，所得码字为一些二元序列，则称二元码。[在二元信道中传输]等长码（固定长度码）：若一组码中所有码字的长度都相同(即li=l,i=1,…,q)，则称为等长码。变长码：不满足等长码条件的码组称为变长码。4.1编码器及码的分类非奇异码：若一组码中所有码字都不相同(即所有信源符号映射到不同的码符号序列，不同信源符号可分辨)，则称为非奇异码。奇异码：反之，若码组中含有相同的码字则为奇异码。同价码：若码符号集X：{x1,x2,…,xr}中每个码符号所占的传输时间都相同，则所得的码为同价码。4.1编码器及码的分类码的N次扩展码：信源符号出现概

6、率码1码2s1P(s1)000s2P(s2)0101s3P(s3)10001s4P(s4)11111信源码字信源码字信源码字a100＝W1W1=B1a5...010＝W2W1=B1.......a16....111111=W4W4=B16a2001＝W1W2=B2a30001＝W1W3=B3a40111＝W1W4=B44.1编码器及码的分类惟一可译码：若码的任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号序列，则此码称为惟一可译码（单义可译码）。否则就称为非惟一可译码或非单义可译码。表1中码1是惟一可译码，而码2是非惟一可译码。因为对于

7、码2，其有限长的码符号序列能译成不同的信源符号序列。如码符号序列0010，可译成s1s2s1或s3s1，就不惟一了。问题：怎样才能做到无失真编码即惟一可译码？4.2等长码若要实现无失真编码，不但要求信源符号si与码字Wi是一一对应的，而且要求码符号序列的反变换也是惟一的。即所编的码必须是惟一可译码。对于等长码来说，若等长码是非奇异码，则它的任意有限长N次扩展码一定也是非奇异码。等长非奇异码一定是惟一可译码。信源符号码1码2s10000s20111s31010s41111非奇异码唯一可译码奇异码非惟一可译码4.2等长码等长编码惟一可译的必要条件：其

8、中：q为信源符号数,r为符号集中的码元数,l为码长。例如：若信源符号数q＝4，进行二元等长编码，则码符号个数为r＝2。信源S存在惟一可译