数字通信原理4信息论基础ppt课件.ppt

《数字通信原理4信息论基础ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数字通信原理第四章信息论基础2010Copyright1课件第四章信息论基础1、消息与信息(1)消息是由符号、文字、数字、语音或图像组成的序列；(2)消息是信息的载体，信息是消息的内涵；消息中可能包含信息，也可能不包含信息；(3)收到一则消息后，所得的信息量，在数量上等于获得消息前后“不确定性”的消除量；(4)通信的目的在与传送信息。2010Copyright2课件第四章信息论基础2、信息度量的概念(1)某消息的信息量＝获得该消息后不确定性的消除量；不确定性可能性概率问题：信息量可用概率的某种函数来度量(2)不同的消息有信息量的多少

2、的区别，因此信息的度量方式应满足信息量的可加性信息量应该是满足可加性的概率的函数。2010Copyright3课件第四章信息论基础3、离散信源信息的度量离散信源的信息量离散信源统计特性的描述方法－－概率场设离散信源包含N种可能的不同符号，相应的概率场可表述为概率场满足条件：2010Copyright4课件第四章信息论基础离散信源的信息量(续)信息量作为概率的函数，具有形式若与统计独立，满足可加性要求如定义显然有同时满足概率函数和可加性两个要求。2010Copyright5课件第四章信息论基础离散信源信的息量(续)定义离散消息xi的信息量

3、:信息量的单位与对数的底有关：log以2为底时，单位为比特：bitlog以e为底时，单位为奈特：nitlog以10为底时，单位为哈特，hart一般在缺省时取单位为比特。2010Copyright6课件第四章信息论基础离散信源信的息量(续)示例：已知某信源的概率场为输出的各符号统计独立，计算序列S“113200”的信息量2010Copyright7课件第四章信息论基础4、离散信源的平均信息量：信源的熵离散信源的熵定义4.2.2离散信源的熵熵是信源在统计意义上每个符号的平均信息量。2010Copyright8课件第四章信息论基础离散信源的熵

4、(续)示例：求离散信源的熵。按照定义：2010Copyright9课件第四章信息论基础离散信源的熵(续)示例（续）：若上述离散信源发送独立的符号序列：20102013021300120321010032101002310200210312032100120210(1)求总的信息量；(2)利用熵估计总的信息量。(1)(2)2010Copyright10课件第四章信息论基础离散信源的最大熵定理当离散信源X取等概分布时，其熵H(X)取最大值。当信源取等概分布时，具有最大的不确定性。示例：两个信源符号的情形。P(x1)=p,P(x2)=1-p当

5、p=1/2时，H(X)=Hmax2010Copyright11课件第四章信息论基础离散信源的联合熵与条件熵两随机变量的概率场满足条件：2010Copyright12课件第四章信息论基础离散信源的联合熵与条件熵(续)两随机变量的联合熵定义4.2.3两随机变量的联合熵如两随机变量统计独立，有2010Copyright13课件第四章信息论基础两随机变量的联合熵(续)对于统计独立的两随机变量，不能从其中一个获得有关另外一个的任何信息。2010Copyright14课件第四章信息论基础第四章信息论基础离散信源的联合熵与条件熵(续)两随机变量的条件

6、熵定义4.2.4两随机变量的条件熵一般地有具有某种相关性的两随机变量，一个随机变量的出现总是有助于降低另一随机变量的不确定性。2010Copyright15课件第四章信息论基础离散信源及容量信道模型信道的输入：信道的输出：信道模型(特性)可用其转移概率来描述2010Copyright16课件第四章信息论基础离散信源及容量信道模型信道模型(特性)可用其转移概率来描述，一般地有输出不仅与当前的输入有关，而且与之前的若干个输入值有关，呈现某种“记忆”效应。2010Copyright17课件第四章信息论基础离散信源及容量离散无记忆信道的转移矩阵

7、输出仅与当前的输入有关或2010Copyright18课件第四章信息论基础离散无记忆信道的转移矩阵(续)示例：二元的离散无记忆信道发“0”和发“1”时能正确接收的概率为0.99，错误的概率为0.01。即有转移矩阵2010Copyright19课件第四章信息论基础离散信源及容量互信息量转移概率是一种条件概率，在通信系统中可表示收到后，发送端发送的是符号的概率。接收端收到后，关于的不确定性可表示为定义4.3.1互信息量为：互信息量：收到后，关于的不确定性的消除量。2010Copyright20课件第四章信息论基础互信息量(续)互信息量具有对

8、称性互信息量的性质(1)若（2）若(3)若(4)若2010Copyright21课件第四章信息论基础离散信源及容量(续)平均互信息量定义4.3.2平均互信息量为：平均互信息量具有非负性表明从统计上来