[信息与通信]信源编码

《[信息与通信]信源编码》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信源编码第二部分（第三章）Efficiencyvs.ReliabilityEfficiencyAveragecodelengthassmallaspossibleReliabilityTheabilitytorecoverfromerrorsinthetransmissionCodingDecodingInformationsourceSourcecodingChannelcodingInformationchannelChanneldecodingSourcedecodingDestination提要1基本概念2基本定理：变长编码定理3即时码（非续长

2、码）4仙农-费诺（Shannon-Fano）法5霍夫曼（Huffman）法*6数据压缩的分类与国际标准简介§1基本概念编码：利用编码符号集对消息符号集进行的某种变换。例汉字电报汉字符号标准电码五单元电码，即{汉字}{0，1，2，…，9}{0，1}（5位0、1表示一个数字）001101，101011，211001，…，411010，…，801110，910011中（0022）国（0948）011010110111011101011011001111010011102信源编码：又称数据（语音、图象、文本）压缩，目的在于减少数字信息中的冗

3、余度，提高通信或存储的有效性连续信源编码：（A）A/D转换（不讨论）；（B）去冗余度。离散信源的统计特性：离散消息-在有限符号集中选取若干个符号组成的随机序列；形成消息时，各符号出现的概率不同；组成消息的符号之间有一定的相关性。信源的最佳编码：在保证信息量不变（或在允许一定的失真度）条件下，使各码字的平均长度最短，即每个码元所含的平均信息量最大。§2无干扰离散信道的信源编码定理（仙农第一定理，仙农无失真信源编码定理）传输效率：实际传信率（R）与信道容量之比，即信道容量的利用率。=R/C对于无干扰（无噪声）信道，=实际信源熵/最大信源熵=H0(X)/

4、maxH(X)问：能达到多大？2[仙农第一定理]：设离散无记忆信源熵为H(X)，经容量为C（bit/符号）的无干扰信道传输，则总可以找到某种编码方法对信源的输出进行编码，使其在信道中的传信率任意地接近于信道容量C（正定理）。（证明略）逆定理：不存在任何编码方法，使传信率R大于等于C。3信源编码器的作用：改造信源，使H（X）最大化，从而使1，1的过程就是使信源最佳化的过程。信源编码又称为使信源与信道匹配的最佳编码。类比：信源又分为有记忆信源与无记忆信源：有记忆信源-信源发出的符号前后有关连，一个符号的出现会影响另一个符号的出现。无记忆信源-符号

5、之间是独立的，一个符号出现的概率与前面出现的符号有关。•H(X)最大化包含两个步骤：(1)符号独立化，除符号之间的相关性；(2)各符号概率均匀化。本章只考虑无记忆离散信源的编码，不考虑步骤（1）。§3编码效率及变长编码定理最小平均码长与编码效率平均码长:可以证明，码字的平均长度（1）最小平均码长若D=2，则（2）编码效率：（3）编码剩余度：例一个离散信源输出为4个长度均为1的符号，每个符号出现的概率分别为1/2，1/4，1/8。1/8，求平均码长与编码效率。解:•信源编码的必要性:实际信源往往含有大量冗余,比如,英文字母表(含空格符)共27个符号,若等

6、概出现,则每个符号的信息量为4.76bit,而在无记忆情况下实际信源熵只有4.076bit/符号,若考虑两个字母之间的相关性，则实际熵只有3.32bit/符号;若考虑100个字母之间的相关性,则实际信源熵只有1bit/符号,此时编码剩余度为79%!如何编码才能使平均码长最短？一般离散信源各符号出现的概率并不相等,由可知,概率大的符号编短码,概率小的编长码,就可以使平均码长最短.Morse电报就采用这种方法.编码方法例一个离散信源由4个符号S1,S2,S3,S4组成,其出现的概率分别为0.6,0.2,0.2,0.1和0.1,试用不同的方法编码,并加以比较

7、.码（1）：若发S4S1=（110），接收时既可译成11，0=S4S1，也可译成110=S3，不唯一可译；码（2）：等长码，唯一可译，效率较低；码（3）：每码字均以0结尾，称为逗点码，唯一可译，且可随收随译；码（4）：以0开头，须等待下一个0到来时才能开始译；码（5）：立即可译。编码的一般原则:须唯一可译;(2)概率大的用短码,概率小的用长码;(3)码字之间不用空格符就能区分;(4)须立即可译.变长编码定理:若离散信源的熵为H(X),每个信源符号用D进制符号进行编码,则存在某种编码方法,其码字平均长度满足对于二进制编码(D=2),则有(2)对于L次扩展

8、信源,则有以下关系[注]:(1)该定理只是一个极限定理，必须在L为无穷时才能达到理论情况；(2