信息熵的基本性质课件.ppt

《信息熵的基本性质课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、设离散信源X的概率空间为：信息熵是信源概率空间的一种特殊矩函数，这个函数的大小与信源的消息数及其概率分布有关。当信源消息集的个数q给定时，信源的信息熵是概率分布P(x)的函数,概率分布用概率矢量P来表示：2.3信息熵的基本性质这样，信息熵是概率矢量P或它的分量的元函数(各分量满足,所以独立变量只有元)。一般式可写为：是概率矢量P的函数，称为熵函数2.3信息熵的基本性质熵函数也是一种特殊的函数，它的函数形式为：它具有下列一些性质。(1)对称性：当变量任意变换时，熵函数的值不变，即：2.3信息熵的基本性质该性质表明：熵只与随机变量的总体结构有关，即与信源的总体

2、的统计特性有关。差别：信源X与Y同一消息的概率不同，X与Z的具体信息不同，但它们的信息熵相同，表示三个信源总的统计特性相同，它们的信息数和总体结构是相同的。即：2.3信息熵的基本性质如：(2)确定性：因为在概率矢量中，当分量时有。而其余分量该性质说明：信源虽然有不同的输出符号，但只有一个消息几乎必然出现，而其它符号则是几乎不可能出现，那么这个信源是确知信源，其熵等于零。2.3信息熵的基本性质(3)非负性：该性质是非常明显的，因为随机变量X的所有取值的概率分布满足时，熵是正值的，只有当随机变量是确知量时，其熵等于零。这种非负性对于离散信源而言是正确的，但对于

3、连续信源来说这一性质就不一定存在。以后可以看到，在差熵的概念下，可能出现负值。2.3信息熵的基本性质(4)扩展性因为：说明：信源的消息数增多时，若这些消息对应的概率很小(接近于零)，则信源的熵不变。2.3信息熵的基本性质(5)可加性：统计独立信源X和Y的联合信源的熵等于分别的熵之和。两个随机变量X和Y，相互独立，X概率分布为：,Y的概率分布为。则：根据熵函数表达式有：2.3信息熵的基本性质故：2.3信息熵的基本性质可加性是熵函数的一个重要特性，正因为具有可加性，所以可以证明熵函数的形式是唯一的，不可能有其他的形式存在。(6)强可加性：两个互相关联的信源X和

4、Y的联合信源的熵等于信源X的熵加上信源X已知条件下信源Y的条件熵。设两个随机变量X和Y，互相关联，X概率分布为：Y的概率分布为：其中：叫条件概率，来描述彼此的关联。叫联合概率2.3信息熵的基本性质2.3信息熵的基本性质证明：式中右边第一项是信源的熵。第二项中所以，熵函数就是和的联合信源的联合熵。2.3信息熵的基本性质它表示已知信源取值下，信源选取一个值所提供的平均信息量。此量对取统计平均值，表示在信源输出一个符号的条件下，信源再输出一个符号所提供的信息量，记作,称为条件熵。因此，强可加性式可写成：显然，可加性是强可加性的特殊情况，当信源和统计独立时，其满足

5、：2.3信息熵的基本性质可得：(7)极值性此性质表明：在离散信源情况下，对于具有个符号的离散信源，只有当它们等可能出现时，信源熵才能达到最大值。即表明等概率分布信源的平均不确定性最大，我们称该结论为最大离散熵定理。2.3信息熵的基本性质