多符号离散信源的熵

《多符号离散信源的熵》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章信源熵相比一张哈弗大学的文凭，养成良好的习惯对一个人的成功更重要。——比尔.盖茨1本章主要内容2.1单符号离散信源2.2多符号离散平稳信源及熵2.3连续信源及熵2本节教学内容、基本要求1、教学内容多符号离散序列信源及其熵马尔可夫信源及其熵信息的冗余度2、基本要求掌握多符号离散序列信源熵的定义、性质掌握马尔可夫信源熵的模型及其计算掌握信息冗余度的含义32.2多符号离散平稳信源及熵实际的信源输出的消息是时间或空间上离散的一系列随机变量。这类信源每次输出的不是一个单个的符号，而是一个符号序列。如电报系统。在信源输出的序列中，每一位出现哪个符号都是随机的，这种信源称为多

2、符号离散信源。二元系统中，我们可以把两个二元数字看成一组，会出现四种可能情况：00、01、10和11，我们可以把这四种情况看成一个新的信源称为二元无记忆信源的二次扩展信源;相应的，如果把N个二元数字看成一组，则新的信源称为二元无记忆信源的N次扩展信源。4如信源序列：000、001、….111称为二元信源的3次扩展信源。二元信源的N次扩展信源：n元信源的N次扩展信源（多符号离散信源）的定义：输出消息长度为N，消息中的每个符号取自集合X，X中有n个单符号消息，则X的N次扩展信源记作：XN，用N维矢量表示：N位则该信源XN最多有nN条消息。5平稳随机序列：所谓平稳是指序列的

3、统计性质与时间的推移无关。非平稳随机序列：信源每发一个符号的概率与时间起点有关。离散无记忆信源：信源序列的前后符号之间是统计独立的。离散有记忆信源：信源序列的前后符号之间是相关的。6序列信息的熵序列信息的熵（也称：离散无记忆信源的N次扩展信源的熵）原始信源X的数学模型XN的数学模型：7H(XN)=NH(X)证明：略例2.2.1：p40页求一个信源的二次扩展信源及其熵。注意：单位8离散平稳有记忆信源的N次扩展信源的熵离散平稳有记忆信源的N次扩展信源的熵离散有记忆信源的N次扩展信源：信源输出的符号相关，且相关性用N个符号间的联合概率表示。离散平稳有记忆信源的N次扩展信源（

4、记忆长度为N）的熵满足：9例2.2.2：p44,设某二维离散信源X2=X1X2的原始信源X的模型为符号间的相关性用以下的条件概率（转移概率）表示：求原始信源熵H(X),条件熵H(X2

5、X1)，二次扩展信源熵及其平均符号熵。10解：11将计算结果代入上式：1.206<1.542验证说明计算结果符合以上公式。说明：多符号消息的平均符号熵<=原始单符号信源熵。这是由于符号之间的统计相关性造成的。要想提高信源对外提供的平均符号信息量，必须设法消除符号之间的相关性（冗余度）。12N维离散有记忆信源的极限熵（也称为：离散平稳有记忆信源的N次扩展信源的极限熵）极限熵：平均符号熵的N

6、取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。极限熵:代表一般离散平稳有记忆信源平均每发一个符号提供的信息量。1314马尔可夫信源的极限熵在许多信源的输出序列中，符号之间的依赖关系是有限的。即：任何时刻信源符号发生的概率只与前面已经发出的若干符号相关，而与更前面发出的符号无关。如：随机变量序列中，(m+1)时刻发出的随机变量Xm+1只和前面已经发出的m个随机变量X1X2……Xm有关，而与更前面的随机变量无关。Xi取值于单符号信源符号集合X这类信源称为m阶马尔可夫信源。m阶马尔可夫信源每次只发一个符号，每次发出的符号只与之前发出的m个符号相关。15马尔可夫

7、信源的组成需要两个条件：（1）某时刻信源输出的符号只与之前的m个符号相关，这m个相关的符号称为”信源前一时刻所处的状态”。m阶马尔可夫信源在时刻i发符号1617（2）某时刻信源所处的状态由该时刻输出的符号和前一时刻的状态唯一确定。SiSi+1Si+2问：m阶马尔可夫信源最多有多少种状态？nm所有的状态构成状态空间S，每种状态以一定的概率发生，则得到的数学模型就是m阶马尔可夫信源的数学模型。18m阶马尔可夫信源的数学模型：且满足19m阶马尔可夫信源的熵：：也叫m+1次扩展信源20则：马尔可夫极限熵的计算式令所有的状态组成一个状态集合Si或Sj21例：已知一个二进制一阶马

8、尔可夫信源，信源符号集合为X=(0，1)，符号间的条件概率为P(0/0)=0.25P(1/0)=0.75P(0/1)=0.5P(1/1)=0.5求状态转移概率和状态转移图，信源熵。解：因为是二进制一阶马尔可夫信源所以状态空间Si(或Sj)共包含nm=21=2种状态：s1=0,s2=1,状态转移概率为P(s1/s1)=0.25P(s2/s1)=0.75P(s1/s2)=0.5P(s2/s2)=0.522状态转移图如下：S1=0S2=10.750.50.50.2523该一阶马尔可夫信源极限熵为：24状态概率：注：状态概率一定要列方程组求解。25例2.2.