第2章 信源及信源熵-1new

《第2章 信源及信源熵-1new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章信源及信源熵主要内容信源的数学模型及分类离散信源的信息熵互信息重点掌握：信源熵和离散/连续互信息信源的描述和分类信源信源产生消息(符号)、消息序列和连续消息的来源产生随机变量、随机序列和随机过程的源。信源的基本特性：具有随机不确定性。香农信息论的基本点用随机变量或随机矢量来表示信源用概率论和随机过程的理论来研究信息信源的分类按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类离散信源:文字、数据、电报—随机序列信源{连续信源:话音、图像—随机过程信源的分类离散信源指发出在时间和幅度

2、上都是离散分布的离散消息的信源。发出单个符号的无记忆信源离散离散无记忆信源{发出符号序列的无记忆信源信源{离散有记忆信源{发出符号序列的有记忆信源发出符号序列的马尔可夫信源信源的描述一个离散信源发出的各个符号消息的集合为：X{x1,x2,,xn}a,b,c,…z•它们的概率分别为P{p(x),p(x),,p(x)}12n•p(xi):xi的先验概率•单符号离散信源的数学模型—概率空间p(x)0Xxxxi12nnPp(x1)p(x2)p(xn)p(x)1ii1离散信源的统计特性离散消息是从有限

3、个符号组成的符号集中选择排列组成的随机序列（组成离散消息的信息源的符号个数是有限的）在形成消息时，从符号集中选择各个符号的概率不同。组成消息的基本符号之间有一定的统计相关特性。无记忆信源离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。用一个离散型随机变量X来描述这个信源输出的消息。Xx1x2x3x4x5x6P1/61/61/61/61/61/6离散无记忆信源发出单个符

4、号的信源指信源每次只发出一个符号代表一个消息；发出符号序列的信源指信源每次发出一组含二个以上符号的符号序列代表一个消息X123456P1/61/61/61/61/61/6连续无记忆信源连续信源：输出在时间和幅度上都是连续分布的消息单符号连续无记忆信源的概率空间随机取一节干电池X(a,b)测其电压值作为输出符号,符号取值为[0,1.5]之PpX(x)间的所有实数。该信源就是发出单符p(x)0x号的连续无记忆信源bp(x)dx1Xa离散序列信源发出单个符号的离散无记忆信源

5、每次只发出一个符号代表一个消息，且消息数量有限X123456P1/61/61/61/61/61/6发出符号序列的离散信源X000001010011100101P1/61/61/61/61/61/6离散无记忆序列信源设信源输出的随机序列为X=(X1X2…Xl…XL)序列中的变量Xl∈{x1,x2,…xn}称为离散无记忆信源X的L次扩展信源随机序列的概率为p(X)p(x,x,,x)i1i2iLp(x)p(x

6、x)p(x

7、xx)p(x

8、xxx)i1i2i1i3i1i2iLi1i2iL

9、12L1p(x)p(x

10、x)p(x

11、x)p(x

12、x)i1i2i1i3i1iLi1离散无记忆信源序列当信源无记忆时p(X)p(x,x,,x)i1i2iLLp(xi1)p(xi2)p(xi3)p(xiL)p(xil)l1离散有记忆序列信源条件概率马尔可夫信源马尔可夫信源一类相对简单的离散平稳信源该信源在某一时刻发出符号的概率除与该符号有关外,只与此前发出的有限个符号有关m阶马尔可夫信源：信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。条件概率p(x

13、x,x)p(x

14、x,x)LL1

15、1LL1Lm马氏链的基本概念一阶马尔可夫信源：p(x,x,x,x)123Lp(x)p(x

16、x)p(x

17、x)p(x

18、x)121L1L2LL1•若把有限个符号记作一个状态S，则信源发出某一符号的概率除与该符号有关外，只与该时刻信源所处的状态有关。•信源将来的状态及其送出的符号将只与信源现在的状态有关，而与信源过去的状态无关。例子晴天阴天下雨晴天0.500.250.25阴天0.3750.250.375下雨001马氏链的基本概念令s=(x,x,…x)x,x,…x∈(a,a,ii1i2imi1,i2im12…a)q状态集S={s

19、,s,…,s}Q=qm12Q信源输出的随机符号序列为：x,x,…x,x…12i-1i信源所处的随机状态序列为：s,s,…s,s,…12i-1i例：二元序列为…01011100