无失真信源编码定理

《无失真信源编码定理》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第五章无失真信源编码定理5.1编码器5.2等长码5.3渐近等分割性和ε典型序列5.4等长信源编码定理5.6变长信源编码定理5.5变长码信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。即同样多的信息用较少的码率传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。信道编码：是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率/带宽。与信源编码正好相反。密码：是以提高通信系统的安全性为目的的编码。通常

2、通过加密和解密来实现。从信息论的观点出发，“加密”可视为增熵的过程，“解密”可视为减熵的过程。5.1编码器信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。无失真信源编码定理：是离散信源/数字信号编码的基础；限失真信源编码定理：是连续信源/模拟信号编码的基础。信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。离散信源编码：独立信源编码，可做到无失真编码；连续信源编码：独立信源编码，只能做到限失真信源编码；相关信源编码：非独立信源编码。5.1编码器编码器可以看作这样一个系统，它的输入端为原始信源S，

3、其符号集为；而信道所能传输的符号集为编码器的功能是用符号集X中的元素，将原始信源的符号变换为相应的码字符号，所以编码器输出端的符号集为称为码字，为码字的码元个数，称为码字的码字长度，简称码长。编码器5.1编码器1、二元码：码符号集X={0,1}，如果要将信源通过二元信道传输，必须将信源编成二元码，这也是最常用的一种码。2、等长码：若一组码中所有码字的长度都相同，称为等长码。3、变长码：若一组码中所有码字的长度各不相同，称为变长码。4、非奇异码：若一组码中所有码字都不相同，称为非奇异码。5.1编码器5、奇异码：若一组码中有相同的

4、码字，称为奇异码。6、同价码:每个码字占相同的传输时间7、码的N次扩展：若码，码则称码B为码C的N次扩展码。8、唯一可译码：若码的任意一串有限长的码符号序列只能被唯一的译成所对应的信源符号序列，则称此码为唯一可译码。5.1编码器例：如果有四个信源符号{s1，s2，s3，s4}，采用二元编码，l=2，则可以编成s1=00，s2=01，s3=10，s4=11。如果我们要对信源的N次扩展信源进行编码，也必须满足，两边取对数得：表示平均每个信源符号所需的码符号个数。若对信源进行等长编码，则必须满足其中，l是码长，r是码符号集中的码元数

5、，q信源符号个数。5.2等长码例：对英文电报得32个符号进行二元编码，根据上述关系：我们继续讨论上面得例子，我们已经知道英文的极限熵是1.4bit,远小于5bit，也就是说，5个二元码符号只携带1.4bit的信息量，实际上，5个二元符号最多可以携带5bit信息量。我们可以做到让平均码长缩短，提高信息传输率5.2等长码我们举例说明：设信源而其依赖关系为：5.2等长码若不考虑符号间的依赖关系，可得码长l＝2若考虑符号间的依赖关系，则对此信源作二次扩展可见，由于符号间依赖关系的存在，扩展后许多符号出现的概率为0，此信源只有4个字符，

6、可得码长，但平均每个信源符号所需码符号为5.2等长码我们仍以英文电报为例，在考虑了英文字母间的相关性之后，我们对信源作N次扩展，在扩展后形成的信源（也就是句子）中，有些句子是有意义的，而有些句子是没有意义的，我们可以只对有意义的句子编码，而对那些没有意义的句子不进行编码，这样就可以缩短每个信源符号所需的码长。等长信源编码定理给出了进行等长信源编码所需码长的极限值。5.2等长码5.3渐近等分割性和ε典型序列(本节略)本节的主要是为了证明信源编码定理，而引入了一种渐近等分割性和ε典型序列的重要概念。定理5.3（等长信源编码定理）一

7、个熵为H(S)的离散无记忆信源，若对其N次扩展信源进行等长r元编码，码长为l，对于任意大于0，只要满足当N无穷大时，则可以实现几乎无失真编码，反之，若：则不可能实现无失真编码，当N趋向于无穷大时，译码错误率接近于1。5.4等长信源编码定理定理5.3的条件式可写成：左边表示长为的码符号所能载荷的最大信息量，而右边代表长为N的序列平均携带的信息量。因此，只要码字传输的信息量大于信源序列携带的信息量，总可以实现无失真编码。定理5.3的条件式也可写成：令：称之为编码信息率。可见，编码信息率大于信源的熵，才能实现无失真编码。5.4等长信

8、源编码定理最佳编码效率为：为了衡量编码效果，引进称为编码效率。5.4等长信源编码定理例：设离散无记忆信源：若采用等长二元编码，要求编码效率，允许错误率，则：也就是长度要达到4130万以上。5.4等长信源编码定理1、唯一可译变长码与及时码信源符号出现概率码1码2码3码4s1s2