编码之统计编码与信息熵

《编码之统计编码与信息熵》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、1．统计编码原理──信息量和信息熵　　　　根据香农信息论的原理，最佳的数据压缩方法的理论极限是信息熵。如果要求在编码过程中不丢失信息量，即要求保存信息熵，这种信息保持的编码又叫熵保存编码，或叫熵编码。熵编码是无失真压缩。当然在考虑人眼失真不易察觉的生理特性时，有些图像编码不严格要求熵保存，信息允许通过部分损失来换取高的数据压缩比。这种编码属于有失真数据压缩。　　信息是用不确定性的量度定义的，也就是说信息被假设为由一系列的随机变量所代表，它们往往用随机出现的符号来表示。我们称输出这些符号的源为“信源”。也就是要进行研究与压缩的对象

2、。　　信息量　　信息量指从N个相等可能事件中选出一个事件所需要的信息度量或含量，也可以说是辨别N个事件中特定事件过程中所需提问“是”或“否”的最小次数。　　例如：从64个数（1～64的整数）中选定某一个数（采用折半查找算法），提问：“是否大于32？”，则不论回答是与否，都消去半数的可能事件，如此下去，只要问6次这类问题，就可以从64个数中选定一个数，则所需的信息量是=6（bit）。　　我们现在可以换一种方式定义信息量，也就是信息论中信息量的定义。　　设从N中选定任一个数X的概率为P(x)，假定任选一个数的概率都相等，即P(x)=

3、1/N，则信息量I(x)可定义为：　　　　　上式可随对数所用“底”的不同而取不同的值，因而其单位也就不同。设底取大于1的整数α，考虑一般物理器件的二态性，通常α取2，相应的信息量单位为比特（bit）；当α=e，相应的信息量单位为奈特（Nat）；当α=10，相应的信息量单位为哈特（Hart）。　　显然，当随机事件x发生的先验概率P(x)大时，算出的I(x)小，那么这个事件发生的可能性大，不确定性小，事件一旦发生后提供的信息量也少。必然事件的P(x)等于1，I(x)等于0，所以必然事件的消息报导，不含任何信息量；但是一件人们都没有估

4、计到的事件（P(x)极小），一旦发生后，I(x)大，包含的信息量很大。所以随机事件的先验概率，与事件发生后所产生的信息量，有密切关系。I(x)称x发生后的自信息量，它也是一个随机变量。　　P(x)大时，算出的I(x)小必然事件的P(x)等于1，I(x)等于0。　　P(x)小时，算出的I(x)大必然事件的P(x)等于0，I(x)等于1。　　I(x)称x发生后的自信息量，它也是一个随机变量。　　信息熵　　现在可以给“熵”下个定义了。信息量计算的是一个信源的某一个事件（X）的自信息量，而一个信源若由n个随机事件组成，n个随机事件的平均

5、信息量就定义为熵(Entropy)。　　熵的准确定义是：信源X发出的xj(j=1,2,……n),共n个随机事件的自信息统计平均（求数学期望），即　　　　　H(X)在信息论中称为信源X的“熵（Entropy）”，它的含义是信源X发出任意一个随机变量的平均信息量。　　更详细的说，一般在解释和理解信息熵有4种样式　　（1）当处于事件发生之前，H(X)是不确定性的度量；　　（2）当处于事件发生之时，是一种惊奇性的度量；　　（3）当处于事件发生之后，是获得信息的度量；　　（4）还可以理解为是事件随机性的度量．　　下面为了掌握信息熵的概念，

6、我们来做一道计算题。　　例如：以信源X中有8个随机事件，即n=8。每一个随机事件的概率都相等，即P(x1)=P(x2)=P(x3)……P(x8)=1/8，计算信源X的熵。　　应用“熵”的定义可得其平均信息量为3比特　　　　　再例：信源X中有17个随机事件，即n=17。每一个随机事件的概率分别为：　　　　　计算信源X的熵。　　信息熵的计算公式：　　　　信源X的熵：　　　　　定长码与变长码　　定长码（fixed-lengthcode）即采用相同的位数（bit）对数据进行编码。大多数存储数字信息的编码系统都采用定长码。如我们常用的AS

7、CII码就是定长码，其码长为1字节（Byte）。汉字国标码也是定长码，其码长为2字节（Byte）。　　变长码（variable-lengthcode）即采用不相同的位数（bit）对数据进行编码，以节省存储空间。　　例如，不同的字符或汉字出现的概率是不同的，有的字符出现的概率非常高，有的则非常低。根据统计，英文字母中“E”的使用概率约为13％，而字母“Z”的使用概率则为0.08％。又如大多数图像常含有单色的大面积图块，而且某些颜色比其他颜色出现更频繁。为了节省空间，在对数据进行编码时，就有可能对那些经常出现的数据指定较少的位数表示

8、，而那些不常出现的数据指定较多的位数表示。这样从总的效果看还是节省了存储空间。用这种方法得到的代码，其码的位数，也即码长就是不固定的，故称为变长码。香农-范诺编码，以及霍夫曼编码，都是变长码。　　2．赫夫曼（Huffman）编码　　基本原理：按信源符号出现的概率