信息论-第8章无失真的信源编码

《信息论-第8章无失真的信源编码》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第8章无失真的信源编码8.1霍夫曼(Huffman)码8.2香农-费诺(Shannon-Fano)码8.4游程编码8.6字典码熵编码(EntropyCoding)香农第一定理总能找到一种编码方法，使编码后信源的信息传输率R’任意地逼近信源的信息熵，而不存在失真信源的信息熵是信源进行无失真编码的理论极限值总可以找到一种惟一可译码，使得其中：LN:平均码长r:码符号总数N:信源序列长度2香农-费诺(Shannon-Fano)码编码算法将信源符号以递减概率的顺序排列将信源符号分为两组，使每组的概率和相近其中一组编号“0”，另一

2、组编号“1”对每组重复步骤2-4，直至小组内只剩一个符号特点考虑了信源的统计特性分组方法多，其中容易出现后期分组的概率和不相近3二元霍夫曼(Huffman)码编码算法将信源符号以递减概率的顺序排列将码符号“0”和“1”分配给概率最小的两个符号合并这两个符号为一个新符号，生成缩减信源重复步骤1-3，直至剩下一个符号从最后一级缩减信源对应的码符号是最高位。特点考虑了信源的统计特性，而且是最佳码对于同一个信源，编码过程并非唯一，但平均码长都相同48.4游程(Run-Length)编码——例信源码字“0”游程信源码字“1”游程

3、58.4游程(Run-Length)编码——游程概率及其平均长度信源码字“0”游程P[L(0)]68.4游程(Run-Length)编码——游程概率及其平均长度信源码字“1”游程P[L(0)]78.4游程(Run-Length)编码——可压缩条件8字典码(DictionaryCoding)基于概率统计的编码，难以压缩：信源的概率统计特性无法测得信源不是随机信源解决方法：字典码将信源符号序列分解为短语序列的组合每读入一个短语，查找字典中是否有相同的短语若有，就输出短语对应的编号若无，就将该短语加入字典中字典的大小一般

4、有限制，超过最大值，将最不常用的短语删除。9