资源描述：
《信息论与编码纠错第2章.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第二章信息的度量根据香农对于信息的定义，信息是一个系统不确定性的度量，尤其在通信系统中，研究的是信息的处理、传输和存储，所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手，研究离散情况下各种信息的描述方法及定量计算，讨论它们的性质和相互关系。内容提要§2.1自信息量和互信息量一个事件的自信息量就是对其不确定性的度量。互信息量则表明了两个随机事件的相互约束程度。对于随机事件集X={x1，x2，…，xi，…，xI}中的随机事件xi，其出现概率记为p(xi)，将两个事件xi，yj同时出现的概率记为p(x
2、iyj)，则p(xi)，p(xiyj)应满足：相应的条件概率为:满足：且下列关系式成立一．自信息量和条件自信息量收到某消息获得的信息量＝不确定性减少的量在通信过程中，收信者所获得的信息量，在数量上等于通信前后不确定性的消除。因此，信息量直观的定义为：将某事件发生所得到的信息量记为I(x)，I(x)应该是该事件发生的概率的函数，即I(x)=f[p(x)]1．自信息量直观地看，自信息量的定义应满足以下四点：（1）I(x)应该是p(x)的单调递减函数：概率小的事件一旦发生赋予的信息量大，概率大的事件如果发生则赋予的
3、信息量小；（2）信息量应具有可加性：对于两个独立事件，其信息量应等于各事件自信息量之和；（3）当p(x)=1时，I(x)=0：表示确定事件发生得不到任何信息；（4）当p(x)=0时，I(x)→∞：表示不可能事件一旦发生，信息量将无穷大。综合上述条件，将自信息量定义为:单位：取决于对数的底。以2为底，比特（Bit）；以e为底，奈特（Nat）；以10为底，哈特（Hart）以r为底，r进制信息单位（r进制信息单位）相互转换：如：1Nat＝1.44Bit，1Hart＝3.32Bit【例】若盒中有6个电阻，阻值为1Ω、
4、2Ω、3Ω的分别为2个、1个、3个，将从盒子中取出阻值为iΩ的电阻记为事件xi（i=1，2，3），则事件集X={x1,x2,x3}，其概率分布计算出各事件的自信息量列表如下：消息xix1x2x3概率分布p(xi)1/31/61/2自信息量I(xi)log3log6log2自信息量I(xi)代表两种含义：事件xi发生以前，表示事件发生的先验不确定性。一个事件不常出现，它的概率就小，当该事件发生时收信者获得的信息量就多，或者说事件携带的信息量大，因此自信息量也可以说是随机事件的一个固有特征。当事件xi发生以后，表
5、示事件xi所能提供的最大信息量。xix1x2p(xi)1/21/2I(xi)log2＝1bitlog2＝1bit【例】信源消息X＝{0，1}，信源等概率分布，计算出自信息量如表所示。可以看出，1bit的信息量就是两个互不相容的等可能事件之一发生时所提供的信息量。【推广】二维联合集XY上元素xiyj的联合自信息量I(xiyj)定义为：2．条件自信息量在已知事件yj条件下，随机事件xi发生的概率为条件概率p(xi/yj)，条件自信息量定义为：【例】某住宅区共建有若干栋商品房，每栋有5个单元，每个单元住有12户，甲
6、要到该住宅区找他的朋友乙，若（1）甲只知道乙住在第5栋，找到乙的概率有多大？能得到多少信息？（2）甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到乙的概率又有多大？他能得到多少信息？【解】用xi代表单元数，yj代表户号：（1）甲找到乙这一事件是二维联合集XY上的等概分布，即甲找到乙这一事件提供给甲的信息量为：I(xiyj)＝－logp(xiyj)＝log60＝5.907（比特）（2）在二维联合集XY上的条件分布概率为这一事件提供给甲的信息量为条件自信息量：I(yj/xi)=－logp(yj/xi)＝log
7、12＝3.585（比特）二．互信息量和条件互信息量1．互信息量从通信的角度引出互信息量的概念。信源符号：X={x1,x2,…,xI}，xi∈{a1,a2,…,ak}，i=1,2,…,I。xi的概率分布p(xi)称为先验概率。经过信道传输，信宿方接收到符号信宿符号：Y={y1,y2,…,yJ}，yj∈{b1,b2,…,bD}，j=1,2,…,J。接收到符号yj后，接收者重新估计xi发生的概率，记为条件概率p(xi/yj)，也称为后验概率。事件xi是否发生具有不确定性，用I(xi)度量。接收到符号yj后，事件xi
8、是否发生仍保留有一定的不确定性，用I(xi/yj)度量。观察事件前后，这两者之差就是通信过程中所获得的信息量，为事件xi和事件yj之间的互信息量。用I(xi;yj)表示：根据概率互换公式p(xiyj)=p(yj/xi)p(xi)=p(xi/yj)p(yj)互信息量I(xi;yj)有多种表达形式：【推广】将事件互信息量的概念推广至多维空间。在三维XYZ联合集中，有：一对事件yjzk发生后，与事件xi之
