教育信息处理[2].ppt

《教育信息处理[2].ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章教育信息熵1.了解信息熵的基本含义及性质2.掌握多个概率系统的信息熵3.掌握测试过程中的信息量问题4.掌握教学过程中的信息量问题5.掌握教育中质的数据信息量问题6.掌握CAI课件中信息熵的应用第一节熵的概述2.1.1　信息量的表示1。信息量与不确定性的关系2。不确定性的大小与事件出现的概率Pi的关系a。单调减函数b。可加性第一节熵的概述2.1.1　信息量的表示ABCDE信息量的表示：单位：以2为底的单位为比特（bit）…e………………奈特（nit）…10……………...迪特（dit）1bit=0.693nat1nat=1.443bit1n

2、at=0.4343nat1dit=2.303nat2.1.2　信息熵每个状态平均含有的不确定性X：x1,x2,……,xnP(X):P(x1),P(x2),,……,P(xn)设某一系统具有四种状态A1、A2、A3、A4,其产生的概率分别为：、、、该系统中任一状态产生是所给予的平均信息量为：H=1.75(bit)若概率系统为连续系统，其概率分布为p(x)，该系统的熵由下式表示：2.1.3　熵的意义熵的大小可用于表示概率系统的不确定程度。例1设某一概率系统中，每一事件产生的概率分布为：（1，0…，0）例2设某一概率系统中，其概率分布是均匀的，它表示

3、系统中每一事件产生的概率相等。例：两个中间状态      设概率系统A、B得分布为：试比较它们哪一个系统的不确定程度大。2.1.4　信息熵的基本性质1.单峰性例   设某一系统包含两个事件A、B，其产生的概率分别为p和1-p。该系统的熵为2.对称性例 某系统中n个事件的概率分布为3.非负性4.渐化性5.展开性例设概率为                    的事件可分解为q和r的两个事件，则有例  设某一系统的概率分布为：6.确定性概率系统中，任一事件产生的概率为1，则其他事件产生的概率为0，这是一种确定的系统。对于这样的系统，有第二节相

4、对熵与冗余度2.2.1　相对熵第二节相对熵与冗余度2.2.1　相对熵2.2.2　冗余度相对信息熵,冗余度为:香农冗余度表示了由于每种字符出现的概率不同而使信息熵减少的程度信息传递过程中的冗余度使得信息传递的效率降低，但这种冗余度也并非总是无意义的。对信息的预测信息的纠错用处：第三节熵函数的展开2.3.1　联合熵设有两道多重选择问题X、Y。第三节熵函数的展开2.3.1　联合熵设有两道多重选择问题X、Y。若xi，yi相互独立，则二元联合熵第三节熵函数的展开2.3.1　联合熵设有两道多重选择问题X、Y。问题X有r个预选答案，问题Y有c个预选答案。通过

5、测试，学生对问题X选中第s个预选答案，对问题Y选中第t个预选答案的概率为。这是一种同时的选择概率。例考虑m=2的情况，且假定联合概率分布如下,求其二玩联合熵P（xiyi）y1y2y3x11/207/201/10x27/201/201/102.3.2　条件熵在事件s产生的情况下，另一种事件t产生的概率以条件概率所表示。由此，可引入条件熵，且有条件熵与联合熵具有以下关系：同样有基于联合熵和条件熵。可定义互信息量。X、Y的互信息量为可得到第四节测试问题的信息量2.4.1　测试问题信息熵的计算（1）（1，0，0，0，0）（2）（0.5，0.125，0.

6、125，0.125，0.125）（3）（0.5，0.5，0，0，0）（4）（0.2，0.2，0.2，0.2，0.2）H=0(bit)H=2(bit)H=1(bit)H=2.3(bit)2.4.2　等价预选项数三个五重选择问题(a)的概率分布为（0.5，0.5，0，0，0）(b)的概率分布为(0.5,0.125,0.125,0.125,0.125)(c)的概率分布为(0.4,0.3,0.2,0.1,0.0)2？？H=1(bit)H=2(bit)H=？(bit)H=1.857(bit)2.4.2　等价预选项数三个五重选择问题(a)的概率分布为（0.

7、5，0.5，0，0，0）(b)的概率分布为(0.5,0.125,0.125,0.125,0.125)(c)的概率分布为(0.4,0.3,0.2,0.1,0.0)2H=1(bit)H=2(bit)H=1.857(bit)设某一多重选择题的应答分布实测值为与之等价的预选项数为k2.4.3　对不确定程度的判断从外观上看，12个小球完全相同，在这12各小球中，仅有一个小球的重量与其他小球不一样。请使用天平，能否在三次以内找出这个重量不同的小球，并且指明该小球比其他小球是重还是轻。分析与求解：比较12个小球，并判定轻、重，应是12×2种比较当中的一种。不

8、确定程度为每使用一次天平，通过左边轻、右边轻或平衡的判断不确定程度减少为使用两次天平不确定程度减少为使用三次天平不确定程度减少为第五节教学过程的信息量