第二章信源及信源熵new

《第二章信源及信源熵new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章信源与信息熵2.1信源的数学模型及分类2.2离散信源熵和互信息2.3信息熵的性质2.4离散序列信源熵2.5连续信源熵与互信息2.6信源的冗余度从这一章开始，我们从有效而可靠地传输信息的观点出发，对组成信息传输系统的各个部分分别进行讨论。本章首先讨论信源，重点是信源的统计特性和数学模型，以及各类离散信源的信息测度——熵及其性质。这部分内容是香农信息论的基础。通信系统模型：信源编码器信道译码器信宿消息信号消息信号＋干扰干扰噪声源对信息论的学习可从信源开始消息是信息的载荷者。信息是抽象的，消息是具

2、体的。要研究信息，还得从研究消息入手。由于信源发送什么消息预先是不可知的，只能用概率空间来描述信源§2.1信源的数学模型和分类正如绪论中所述，在通信系统中收信者在收到消息以前，对信源发出什么消息是不确定的。因此可用随机变量或随机矢量来表示信源,运用概率论和随机过程的理论来研究信息,这就是香农信息论的基本点。信源的分类方法依信源特性而定，一般按照信源发出的消息在时间上和幅度上的分布情况，把信源分为：1.连续信源：发出在时间上和幅度上都是连续分布的连续消息的信源；2.离散信源：发出在时间上和幅度上都是离散分布的离散消

3、息的信源。离散信源又可以细分为：（1）离散无记忆信源：所发出的各个符号之间是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。（2）离散有记忆信源：发出的各个符号之间不是相互独立的，各个符号出现的概率是有关联的。也可以根据信源发出一个消息所用符号的多少，将离散信源分为：1.发出单个符号的离散信源：信源每次只发出一个符号代表一个消息；2.发出符号序列的离散信源：信源每次发出一组含二个以上符号的符号序列代表一个消息。一类重要的符号序列有记忆离散信源-马尔可夫信源：某一个符号

4、出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号。当信源的记忆长度为m+1时，称这种有记忆信源为m阶马尔可夫信源：px(

5、xxxxxx)ii2i1i1i2im1pxxx(

6、x)(i1,2,,)Nii12iim用概率空间来描述离散信源:一个离散信源的数学模型就是离散型的概率空间：x1x2xnXPp(x1)p(x2)p(xn)n其中，px()i0，p(xi)1i1§2.2离散信源熵和互信息2.2.1自信息量在讨论

7、了信源的数学模型，即信源的数学描述问题后，很自然接着会提出这样一个问题，即信源发出某一符号xi(i1,2,,n)后，它提供多少信息量？这就是要解决信息的度量问题。在通信的一般情况下，收信者所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。定义：对于给定的离散概率空间表示的信源，x=xi事件所对应的（自）信息为：1Ix()logpx()logiaiapx()iI(xi)代表两种含义：（1）当事件x发生以前，表示事件x发生的不确定性；ii（2）当事件x发生以后，表示事件x所提供的信息量。ii一

8、点说明自信息量的单位取决于对数的底；底为2，单位为“比特（bit,binaryunit）”；底为e，单位为“奈特（nat,natureunit）”；底为10，单位为“哈特（hat,Hartley）”或“det”；根据换底公式得：logXblogXalogab1奈特=1.443比特,1哈特=3.322比特一般计算都采用以“2”为底的对数，为了书写简洁，常把底数“2”略去不写对于一个以等概率出现的二进制码元（0，1），它所包含的信息量为：1II(0)(1)logbitlog2bit1(bit)

9、222注意:这里比特是指抽象的信息量单位。与计算机术语中“比特”的含义有所不同，它是代表二元数字（binarydigits)。这两种定义之间的关系是每个二元数字所能提供的最大平均信息量是1比特。两个消息xi、yj同时出现的联合自信息量：I(xiyj)logp(xiyj)当xi和yj相互独立时，有p(xiyj)p(xi)p(yj)于是有I(xiyj)I(xi)I(yj)条件自信息量：当xi和yj相互联系时，在事件yj出现的条件下，xi的自信息量称为条件自信息量，定义为：I(xi/yj)logp(xi/y

10、j)p(xi/yj)为在事件yj出现的条件下，xi发生的条件概率。信息熵对一个信源发出不同的消息所含有的信息量也不同。所以自信息Ix()i是一个随机变量，不能用它来作为整个信源的信息测度定义自信息的数学期望为平均自信息量，称为信息熵：H(X)E[I(X)]p(xi)I(xi)p(xi)logp(xi)ii信息熵有三种物理含义：1、熵H(x)表