信息论与编码-第五章

《信息论与编码-第五章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码-信源编码通信的实质是信息的传输。而高速度、高质量地传送信息是信息传输的基本问题。将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真而又快速呢？这就需要解决两个问题：第一，在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息；第二，在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。为了解决这两个问题，就要引入信源编码和信道编码。信息论与编码-信源编码一般来说，提高抗干扰能力（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提高信息传输率常常又会使抗干扰能力减弱。二者是有矛盾的。然而在信息论的编码定理中，已从理论上证明，至少存在

2、某种最佳的编码或信息处理方法，能够解决上述矛盾，做到既可靠又有效地传输信息。这些结论对各种通信系统的设计和估价具有重大的理论指导意义。信息论与编码-信源编码编码分为信源编码和信道编码，信源编码又分为无失真和限失真。由于这些定理都要求符号数很大才能使它的值接近所规定的值，因而这些定理被称为极限定理。无失真信源编码定理为第一极限定理；信道编码定理（包括离散和连续信道）称为第二极限定理；限失真信编码定理称为第三极限定理。信息论与编码-信源编码由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。具体说，就是针对信源输出符号序列的统计特性，寻找一定

3、的方法把信源输出符号序列变换为最短的码字序列。信源编码的基本途径有两个，一是使序列中的各个符号尽可能地互相独立，即解除相关性；二是使编码中各个符号出现的概率尽可能地相等，即概率均匀化。信息论与编码-信源编码编码的定义编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。讨论无失真信源编码，可以不考虑干扰问题，所以它的数学描述比较简单。5.1编码的定义信源编码器信道码表图5-1信源编码器示意图5.1编码的定义将信源消息分成若干组，即符号序列xi，xi＝(xi1xi2…xil…xiL)，xilA={a1，a2，…，ai，…，an}每个符号序列xi依照固定码表映射成一个码字yi，yi＝(y

4、i1yi2…yil…yiLi)，yilB={b1，b2，…，bi，…，bm}这样的码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非分组码中则不存在码表。信息论与编码-信源编码输出的码符号序列称为码字，长度称为码字长度或简称码长。编码就是从信源符号到码符号的一种映射。若要实现无失真编码，则这种映射必须是一一对应的，并且是可逆的。码字长度有无限长（卷积码）、定长和变长（分组码）。码元符号通常使用二进制来表示信息论与编码-信源编码信源符号取值概率码表码1码2a1a2a3a4p(a1)p(a2)p(a3)p(a4)00011011001001

5、111变长码与定长码信息论与编码-信源编码信源符号信源符号概率码1码2a1a2a3a41/21/41/81/801100110100001码的不同属性码3码411010010001010010001信息论与编码-信源编码码符号的分类：下图是一个码分类图信息论与编码-信源编码下面，我们给出这些码的定义。1.二元码若码符号集为，所有码字都是一些二元序列，则称为二元码。二元码是数字通信和计算机系统中最常用的一种码。2.等长码：若一组码中所有码字的码长都相同，即，则称为等长码。3.变长码：若一组码组中所有码字的码长各不相同，则称为

6、变长码。信息论与编码-信源编码4.非奇异码：若一组码中所有码字都不相同，则称为非奇异码。5.奇异码：若一组码中有相同的码字，则称为奇异码。6.唯一可译码：若码的任意一串有限长的码符号序列只能唯一地被译成所对应的信源符号序列，则此码称为唯一可译码，否则就称为非唯一可译码。信息论与编码-信源编码例如{0,10,11}是一种唯一可译码。因为任意一串有限长码序列，如100111000，只能被分割成10，0，11，0，0。任何其他分割法都会产生一些非定义的码字。显然，奇异码不是唯一可译码，而非奇异码中有非唯一可译码和唯一可译码。上表中码3是唯一可译码，但码2不是唯一可译码。例如10000100是由码2

7、的（10，0，0，01，00）产生的序列，译码时可有多种分法，如10，0，00，10，0，此时产生歧义。信息论与编码-信源编码7.非即时码和即时码：如果接收端收到一个完整的码字后，不能立即译码，还要等下一个码字开始接收后才能判断是否可以译码，这样的码叫做非即时码如果收到一个完整的码字以后，就可以立即译码，则叫做即时码。即时码要求任何一个码字都不是其他码字的前缀部分，也叫做异前缀码信息论与编码-信源编码上表中码