资源描述：
《教育信息处理04.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、三、熵的意义熵的意义：熵的大小可用于表示概率系统的不确定程度。设某一概率系统中，每一事件产生的概率分布为（1，0，···，0），它表示，该系统中某一事件发生的概率为1，其它事件产生的概率为0，这是一个确定系统，不确定度为0。计算该系统的信息熵，有H=－1×log1=0。设某一概率系统中，其概率分布是均匀的，它表示系统中每一事件产生的概率相等。该系统的信息熵具有最大值（在相同事件数的情况下）H=logn。设概率系统A、B的分布为：PA=(0.5,0.5,0,0,0)PB=(0.5,0.125,0.125,0.125,0.125)试比较它们哪一个系统的不确定程度大
2、。H(PA)=1(bit)H(PB)=2(bit)2、对称性某系统中n个事件的概率分布为(p1,p2,……,pn)当我们对事件位置的顺序进行人意的置换后，得到的新的概率分布(p11,p21,……,pn1)有以下关系成立：H(p1,p2,……,pn)=H(p11,p21,……,pn1)当p1,p2,……,pn任意互换顺序时，熵值不变，即H(p1,p2,p3)=H(p1,p3,p2)=H(p3,p2,p1)5、展开性设某一系统的概率分布为:(p1,p2,…,pn)该系统的信息熵具有:H(p1,p2,…,pn)=H(p1,p2,…,pn,0)这样的展开性质。在此基础
3、上，进一步展开有：H(p1,p2,……,pn)=H(p1,p2,……,pn,0,…,0)6、确定性概率系统中，任一事件产生的概率为1，则其它事件产生的概率为0，这是一种确定的系统。对于这样的系统，有：H(1,0)=H(0,1)=0H(1,0,…,0)=H(0,…,0,1,0,…,0)=H(0,…0,1)=0一、相对信息熵h一个实际系统输出的熵H(X)与其最大可能的熵Hmax(X)的比值定义为相对熵：h=H(X)/Hmax(X)二、冗余度冗余度或剩余度可定义为:r=1-h=1-H(X)/Hmax(X)冗余度表示了由于每种字符出现的概率不同而使信息熵减少的程度。它
4、表示了传递信息时，不必要的冗长部分的比例。设以英语的N个字符书写文章时，其平均信息量为H，总的信息量为NH。若以27个字符均匀出现的字符序列来表述同样的内容，相同的信息量，由于此时的平均信息量为Hmax，所需的字符数一定少于N，令其为Nmin，则为NminHmax=NH∴Nmin=(H/Hmax)×N=hN它表示，以具有Hmax的27种字符书写文章，只需要Nmin=hN个字符。而冗余度为:r=1-H/Hmax=(N-Nmin)/N它说明以效率更高的代码来表述指定的内容，与实际使用的英语相比较，其字符总数可减少r%。
