资源描述：
《信息论与编码第五章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第5章无失真信源编码5.1编码的定义5.2定长编码定理5.3编码器变长码定理5.4最佳编码将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真而又快速呢？这就需要解决两个问题：第一，在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息；第二，在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。为了解决这两个问题，就要引入信源编码和信道编码。信源编码：在不失真或允许一定失真条件下,如何用尽可能少的符号来传送信源信息,以便提高信息传输率。在通信中要求精确的复现信源的输出，就要保证信源产生的全部信息无损的传送给信宿，这时的信源编码就是无
2、失真信源编码。5.1编码的定义5.1.1信源编码的定义编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。说明：（1）输出的码符号序列称为码字;（2)长度l称为码字长度或简称码长;(3)编码就是从信源符号到码符号的一种映射;(4)若要实现无失真编码，则这种映射必须是一一对应的，并且是可逆的。二元信道的基本符号集为{0,1},若将信源通过一个二元信道传输，就必须把信源符号变换成由0,1符号组成的码符号序列，即编码。可用不同的码符号序列，如表若把N次无记忆扩展信源的概念加以引申，便可得到N次扩展码。5.1.2信源变码的分类等长码：码中所有码字的长度都相同变长码：码
3、中的码字长短不一定义5.1将信源符号集中的每个信源符号映射成一个固定的码字，这样的码称为分组码。采用分组编码方法，需要分组码具有某些属性，以保证在接受端能够迅速准确地将码译出。下面首先讨论分组码的一些直观属性。（1）奇异码和非奇异码：若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码。信源符号信源符号出现概率码表码0码1码2码3码4a1p(a1)=1/2000011a2p(a2)=1/40111101001a3p(a3)=1/8100000100001a4p(a4)=1/811110110000001（2）唯一可译码：若码的任意一串有限长的码符号序列只能唯一
4、地被译成所对应的信源符号序列，则此码称为唯一可译码，否则就称为非唯一可译码。唯一可译码—码Ⅰ码Ⅱ信源概率pi编码Ⅰ编码Ⅱ编码Ⅲ编码Ⅳ编码ⅤU11/211000U21/4100111001U31/810000100110011U41/810000001111110111即时码：无须考虑后续的码符号即可从码符号序列中译出码字，这样的唯一可译码称为即时码。设为一个码字，对于任意的，码符号序列的前j个元素为码字Wi的前缀。一个唯一可译码成为即时码的充分必要条件是其中任何一个码字都不是其他码字的前缀。码树：表示各码字的构成A010000000000000111111101111
5、1二进制码树2000001111122222三进制码树树根—码字的起点分成r个树枝—码的进制数终端节点—码字1101中间节点—码字的一部分节数—码长满树：每个节点上都有r个分枝的树——等长码非满树：变长码用树的概念可导出唯一可译码存在的充分和必要条件综上所述，可将码作如下分类：定理5.1对于码符号为X={x1,x2,…xr}的任意唯一可译码，其码字为W1,W2,…Wq，所对应的码长为l1,l2…lq，则必定满足克拉夫特不等式注意：克拉夫特不等式只是说明唯一可译码是否存在，并不能作为唯一可译码的判据。【例5.1】设二进制码树中X={x1,x2,x3,x4}，对应的l1=
6、1,l2=2,l3=2,l4=3，由上述定理，可得因此不存在满足这种码长的唯一可译码。5.1.3唯一可译码的判断法（变长）（1）观察码C中最短的码字是否是其它码字的前缀，若是，将其所有可能的尾随后缀排列出。而这些尾随后缀又有可能是某些码字的前缀，再将这些尾随后缀产生的新的尾随后缀列出。（2）再观察这些新的尾随后缀是否是某些码字的前缀，再将产生的尾随后缀列出，依此下去，直到没有一个尾随后缀是码字的前缀为止。（3）这样，首先获得了由最短的码字能引起的所有尾随后缀，接着，按照上述步骤将次短码字、…等等所有码字可能产生的尾随后缀全部列出。由此得到由码C的所有可能的尾随后缀的集
7、合F。当且仅当集合F中没有包含任一码字，则可判断此码C为唯一可译码。5.2定长码编码定理编码的目的，就是要是信源的信息率最小，也就是说，要用最少的符号来代表信源。在定长编码中，对每一个简单信源，码字的长度都是定值，要实现无失真的信源编码要求:信源符号s1s2…sq是一一对应码字W1W2…Wq,能够无失真或无差错地从W恢复,也就是能正确地进行反变换或译码;传送Y时所需要的信息率最小如果对一个简单信源S进行定长编码，那么信源S存在惟一可译码的条件是q是信源S的符号个数，r是信道基本码符号数,l是定长码的码长如果对信源S的N次扩展信源SN进行定长编码，若要
