现代通信原理(02-3).ppt

《现代通信原理(02-3).ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、现代通信原理二、信号、噪声与信息论(3)8/5/202112．7信息的度量信息（INFORMATION）：抽象的、本质的。是消息的有效内容。消息（MESSAGE）：随机的、无法预知的。是信息的载体，信号的内容。信号（SINGNAL）：消息的载体形式。用相同的消息量来表达的信息量是不一样的。对于一个通信系统，若用相同长度的二进制信号，能传输的信息量越大，说明其通信能力越强。8/5/202122．7．1消息的统计特性离散信源：产生离散消息，有限种符号，可以看成是一种有限个状态的随机序列，用离散型随机过程的统计特性予以描述。连续信源：产生连续消息。8/5/20213假设离散信源为包含N种符

2、号x1,x2,…,xN的集合，每个符号出现的概率分别为P(x1),P(x2),…,p(XN),那么可以用概率场来描述信源。x1,x2,…,XnP(x1),P(X2),…,P(Xn)()P(Xi)=18/5/20214表2-1英文字母的出现概率符号概率符号概率符号概率空隙0.20s0.052y,w0.012e0.105h0.047g0.011t0.072d0.035b0.0105o0.0654i0.029v0.008a0.063c0.023k0.003n0.059f,u0.0225x0.002l0.055m0.021j,q,z0.001r0.054p0.01758/5/20215表2-

3、2汉字电报中数字代码的出现概率数字0123456789概率0．260．160．080．0620．060．0630．1550．0620．0480．052一般情况下，离散信号中各符号的出现是相互关联的。即当前出现的符号，其概率与先前出现过的符号有关，必须用条件概率来描述离散消息。8/5/20216通常，只考虑前一个符号对后一个符号的影响，用转移概率矩阵来描述。对于连续信源，其消息的取值是无限的，必须用概率密度函数反映其统计特性。消息各点之间的统计关联性可以用二维或多维概率密度来描述。8/5/202172.7.2离散信源的信息量对二进制来说：1位符号可以表示2个事件。2位符号可以表示4个事

4、件。3位符号可以表示8个事件。对于二维离散序列，N位符号所构成的随机离散序列可能出现的消息量为2N。8/5/20218基于这一考虑，哈特首先提出采用消息出现概率的对数（以2为底）来作为离散消息的度量单位，称为信息量，用I（xi）表示：I(xi)=log[1/P(xi)]=-logP(xi)式中，P(xi)为该消息发生的概率。当对数以2为底时，信息量单位为比特(bit)；对数以e为底时，信息量单位为奈特(nit)。目前常用比特。8/5/20219例2-1例2-2以上是单一符号出现的信息量。对于由一串符号构成的消息，如果各符号的出现相互独立，整个消息的信息量II=-nilogP(xi)例

5、2-38/5/202110当存在两个信源X和Y时，它们所出现的符号分别为xi和yj，则定义这两个信源的联合信息量为I（xiyj）I（xiyj）=-logP(xiyj)式中P(xiyj)为信源X出现xi而信源Y出现yj的联合概率。当X和Y统计独立时，联合信息量等于X和Y各自信息量之和,如下式：I（xiyj）=-logP(xiyj)=-logP(xi)P(yj)=[-logP(xi)]+[-logP(yj)]8/5/202111在数字通信系统中，信源发送的离散符号集合可以看成是X，信宿接收的离散符号集合可以看成是Y，通常X的概率场是已知的，称为先验概率，记为P（xi）。当接收端每收到Y中

6、的一个符号yj以后，接收者要重新估计发送端各符号xi的出现概率分布，这个概率分布称为条件概率或后验概率，用P（xi/yj）表示。8/5/202112互信息量：后验概率与先验概率之比的对数。I(xi,yj)=log[P(xi/yj)/P(xi)]式中P(xi/yj)为条件概率I(xi,yj)反映了两个随机事件之间的统计关联程度，其物理意义为接收端获取信源信息的能力。8/5/2021131、若xi与yj之间统计独立，即出现yj与出现xi无关。P(xi/yj)=P(xi)，I(xi,yj)=0，互信息量为0。2、若出现xi就一定要出现yj。P(xi/yj)=1，I(xi,yj)=I(xi)

7、，互信息量等于信源信息量。例2－48/5/2021142．7．3离散信源的平均信息量（熵）当消息很长时，用符号出现的概率来计算消息的信息量是比较麻烦的，此时引入平均信息量（熵）的概念。平均信息量（熵）：每个符号所含信息量的统计平均值，用H（X）表示H（X）=-p(xi)logp(xi)（2-7）例2-58/5/202115一消息由0、1、2、3四种符号组成，各符号出现概率分别为3/8，1/4，1/4和1/8。消息总长57个符号，其中0出现23次，1出现14