资源描述：
《第5章信息论与编码new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、5.1编码的定义5.2无失真信源编码5.3限失真信源编码5.4常用信源编码方法简介第5章信源编码1信源编码：无失真信源编码—第一极限定理离散信源限失真信源编码—第三极限定理连续信源信道编码第二极限定理信源编码主要任务在不失真或允许一定失真条件下,如何用尽可能少的符号来传送信源信息,即压缩冗余，提高编码效率。信道编码主要任务在信道受干扰的情况下如何增加信号的抗干扰能力,同时又使得信息传输率最大。编码2信源编码的基本途径使序列中的各个符号尽可能地互相独立，即解除相关性；使编码中各个符号出现的概率尽可能地相等，即概率均匀化。3编码定理证明:必存在一种编码方法,使代码的平均长
2、度可任意接近但不能低于符号熵;达到这目标的途径就是使概率与码长匹配。统计匹配编码：根据信源的不同概率分布而选用与之匹配的编码,以达到在系统中传信速率最小。45.1编码的定义信源编码器码表信源信道信源编码:将信源输出符号,经信源编码器后变换成另外的压缩符号,然后将压缩后信息经信道传送给信宿信源符号之间存在分布不均匀和相关性,使得信源存在冗余度,信源编码的主要任务就是减少冗余,提高编码效率。针对信源输出符号序列的统计特性,寻找一定的方法把信源输出符号序列变换为最短的码字序列。XY55.1编码的定义将信源消息分成若干组，即符号序列xi，xi＝(xi1，xi2，…，xil…，
3、xiL)，xilA={a1，a2，…，ai，…，an}每个符号序列xi依照固定码表映射成一个码字yi，yi＝(yi1，yi2，…，yil，…，yiL)，yilB={b1，b2，…，bi，…，bm}这样的码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非分组码中则不存在码表。分组码：6如果信源输出符号序列长度L＝1，信源符号集为A(a1，a2，…，an)信源概率空间为若将信源X通过二元信道传输，就必须把信源符号ai变换成由0，1符号组成的码符号序列，即信源编码。可用不同的码符号序列表示，见下表7信源符号信源符号出现概率码表码0码1码2码3码4a1p(a1)=
4、1/2000011a2p(a2)=1/40111101001a3p(a3)=1/8100000100001a4p(a4)=1/811110110000001等长码：码中所有码字的长度都相同变长码：码中的码字长短不一非奇异码：信源符号与码字是一一对应的奇异码：码1若码集为{0,1},所得码字为二元序列,称为二元码例如,信源符号X＝{a1,a2,a3,a4},对应不同码字如表8唯一可译码：任意有限长的码元序列,只能被唯一地分割成一个个的码字。例：{0,10,11}是一种唯一可译码。任意一串有限长码序列,如100111000,只能被分割成10,0,11,10,0,0。任何其
5、他分割法都会产生一些非定义的码字。奇异码不是唯一可译码非奇异码唯一可译码—码3非唯一可译码—码2100001009唯一可译码非即时码：如果接收端收到一个完整的码字后不能立即译码,还需等下一个码字开始接收后才能判断是否可以译码即时码：(非延长码)(异前缀码)在译码时无需参考后续的码符号就能立即作出判断,译成对应的信源符号。任意一个码字都不是其它码字的前缀部分例非即时码码流01001100…x1→0x2→01x3→11译码为x2,x1,x1,x3,x1,…即时码码流01001100…x1→0x2→10x3→11译码为x1,x2,x1,x3,x1,x110编码的定义码非分组
6、码分组码奇异码非奇异码非唯一可译码唯一可译码非即时码即时码(非延长码)11码树表示各码字的构成A0100000000000001111111011111二进制码树2000001111122222三进制码树树根—码字的起点分成r个树枝—码的进制数终端节点—码字1101中间节点—码字的一部分节数—码长112码411110001010010001码400001110101101110树码如果有n个信源符号,那么在码树上就要选择n个终端节点,用相应的r元基本符号表示这些码字。码001001111100100任一即时码都可用树图法来表示。当码字长度给定,即时码不是唯一的。131
7、1010001001000码3对应的树如下图:编码的定义该码树从根到终端节点所经路径上每一个中间节点皆为码字,因此不满足前缀条件。虽然码3不是即时码,但它是唯一可译码。14编码的定义满树：每个节点上都有r个分枝的树——等长码非满树：变长码用树的概念可导出唯一可译码存在的充分和必要条件,即各码字的长度Ki应符合Kraft不等式式中:m是进制数n是信源符号数15例：设二进制码树中X=(a1,a2,a3,a4),K1=1,K2=2,K3=2,K4=3,应用Kraft不等式,得：不存在满足这种Ki的唯一可译码0001101011011中间节点如果将各码字长度
