第5章 鉴别信息与最小鉴别信息原理

《第5章 鉴别信息与最小鉴别信息原理》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第五章：鉴别信息与最小鉴别信息原理第一节：鉴别信息概论1．发展历史50年代，I.J.Good，L.J.SavageandS.Kullback发展起来。59年S.Kullback出版《InformationTheoryandStatistics》一书，把相关理论系统化。70年代J.E.ShoreandR.W.Johnson把鉴别信息应用到数字信号处理领域，在谱估计、图象恢复、模式分类等领域具有重要应用。2．文献中常用的名词鉴别信息：DiscriminationInformation交叉熵：CrossEntro

2、pyKullback熵：KullbackEntropy相对熵：RelativeEntropy方向散度：DirectedDivergenceK—L数：K—LNumber3．鉴别信息基本概念设：随机变量X取值于集合A={a1，a2，…，aN}，且X的概率分布与假设H1和H2有关。在假设H1下X的概率分布为H1：=在假设H2下X的概率分布为H2：=假设H1成立的概率为P（H1），假设H2成立的概率为P（H2），因此有；P（H1

3、ai）=P（H2

4、ai）=由此二式可解得；I（P2，P1，X）=log=log-log

5、意义：左边的项是假设H2与H1取值的对数似然比。右边第一项为已知取时，假设和的对数似然比。右边第二项为未知取值时，假设和的对数似然比。即右边是取值前后的似然比之差。因此：是取时提供的鉴别和时倾向于的信息。定义：对数似然比在假设下的数学期望称为鉴别信息，即：在不需要指明时可简写为。特点：①鉴别信息是有方向的，即，故又称为方向散度。②两个概率分布之间的散度为a,无方向，即对称。散度性质：b,。c,。连续随机变量的鉴别信息：多变量随机变量鉴别信息：1）联合鉴别信息：2）条件鉴别信息：其中：下下3）并有关系：=Ku

6、llback鉴别信息与shannon熵的关系1．Shannon熵的减少。2．鉴别信息是在先验概率为下，通过观察确定后验概率为，若可获得的最大鉴别信息为，则概率分布的不确定性为鉴别信息的差值。即：概率分布的不确定性为。1，0,3．在及(完全确定概率)时有：因此：shannon熵是kullback不确定性度量的一种特例。4．鉴别信息与互信息的关系。两随机变量X与Y的联合鉴别信息为如在假设下，X和Y相互独立，并有：如在假设下，X和Y不独立，并此时有，即两个变量X和Y的联合概率分布由独立变为不独立时，所得到的鉴别信

7、息等价于X和Y不独立时的shannon互信息。注：=鉴别信息的性质：1）非负性：，在时等号成立。（注：或，当时等号成立）2）凸性：对而言时下凸函数（∪型）3）对的一个非空的子集.有4）可加性;多个随机变量的鉴别信息在各随机变量相互独立时等于各随机变量的鉴别信息之和。5）不变性：对X作可逆变换T，有，则X的鉴别信息与相应Y的鉴别信息相等。即;其中是X概率分布，是相应Y的概率分布。鉴别信息函数的形式唯一性定理：（R.L.Johnson1979年完整阐述）设：若要求此泛函具有下述性质：1）有限性：对任何概率密度函

8、数p(x)，恒有F(P,P)<2）可加性：，，则有3）半有界性;设，则有.则。其中B,C为常数，B,C,且B,C不同时为零。最小信息原理（鉴别信息原理）：设随机变量X具有未知的概率分布密度函数P(x)，其对已知若干函数的数学期望为，(约束条件)问题：当已知先验概率分布密度的条件下，如何对p(x)作出估计？因为有约束条件如果以最小鉴别信息最小为准则，即则可保证当概率密度函数从到改变量时需要的信息量最小，使鉴别信息最小的分布是满足约束条件下最接近的概率分布。引入拉格朗日乘子求最小值。设函数F=即：F=计算F的偏

9、导数为零，相当于计算因此有注：解得：其中：最大熵原理：若约束条件为，取信息熵最大为准则，有：应用拉格朗日乘子法，有：则因此：其中：对于离散信源，当先验概率为等概率分布时，最小鉴别信息原理与最大熵原理具有等价性。一般最大熵是最小鉴别信息原理的特例。最大熵原理主要应用于离散分布和对先验分布未知的情况，所以先验概率分布不出现在运算中。最小鉴别信息原理和最大熵原理目标是在给定先验概率分布或未知先验概率分布及已知对概率分布具有若干约束条件下（M＋1个条件），对真实的概率分布给出一个最佳或最优估计。最小鉴别信息原理和最

10、大熵原理，对非概率密度函数问题和非统计问题仍然适用。最小鉴别信息为因为当为等概率先验分布时有：===先验概率分布为等概率时，二者具有等价性。