《信息论》(电子科大)第六章 连续信源与连续信道课件.ppt

《《信息论》(电子科大)第六章 连续信源与连续信道课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第6章连续信源与连续信道信源分为离散信源和连续信源，在讨论了离散信源整体测度的基础上，本章讨论的第一个问题是：从连续信源的整体出发，它的信息量应该如何度量？信道也分为离散信道和连续信道，在讨论了离散信道中流通信息量的整体测度及能达到的最大值的基础上，本章讨论的第二个问题是：从整体的角度，如何度量在连续信道中流通的信息量？该信息量能达到的最大值是多少？并满足式中，p(x)为随机变量的概率密度函数。假定概率密度函数p(x)如图所示1、单变量连续信源的数学模型2、单变量连续信源的熵一、连续信源及其相对熵p(x)xbaa+(i-1)△a+i△随机变量落在第i个

2、小区的概率为根据中值定理，有(1)连续信源的绝对熵定义连续信源的相对熵相对熵不能反映连续信源的平均不确定度。定义相对熵的目的：①在形式上与离散信源熵统一；②熵差具有信息测度的意义。(2)连续信源的相对熵同理，可以定义其它相对熵：两个连续随机变量的条件熵两个连续随机变量的联合熵(1)均匀分布连续信源的相对熵3、几种连续信源的相对熵(2)高斯分布连续信源的相对熵(3)指数分布连续信源的相对熵①相对熵不具有非负性例如，当b-a<1时，均匀分布连续信源的相对熵②相对熵的可加性4、相对熵的性质及最大相对熵定理可直接由定义证明：③最大相对熵定理连续信源没有一般意义

3、下的最大熵，只有限制条件下的最大熵。通常讨论三种限制条件下的最大熵：取值范围受限；平均功率受限；均值受限。随机变量取值被限定在一定范围内，则在该有限定义域内均匀分布的连续信源具有最大熵，即取值范围受限条件下的最大熵定理可利用不等式lnz≤z-1进行证明设p(x)是定义域(a,b)上除均匀分布以外的任何概率密度函数，且平均功率受限条件下的最大熵定理随机变量的平均功率被限定，则均值为零、方差为该平均功率的高斯分布的连续信源具有最大熵，即设p(x)是除高斯分布以外的任何概率密度函数，且非负随机变量的均值被限定，则均值为该限定值的指数分布的连续信源具有最大熵，

4、即均值受限条件下的最大熵定理设p(x)是除指数分布以外的任何概率密度函数，且二、连续信道及信道容量1、单变量连续信道的数学模型单变量连续信道的数学模型可表示为其中X为单变量连续信源，X为单变量连续信宿，信道统计特性用信道转移概率密度函数p(y/x)表示。2、平均互信息量与单符号离散信道相仿，可以定义X对Y的平均互信息量为同理，也可以定义Y对X的平均互信息量为虽然相对熵不具有信息测度的意义，但平均互信息量是一种熵差，具有信息测度的意义。①平均互信息量具有非负性可由定义并利用不等式lnz≤z-1证明平均互信息量的性质和定理②平均互信息量具有对称性同理可证③

5、平均互信息量具有凸函数性当信道固定时，Ic(Y;X)是信源概率密度函数p(x)的上凸函数；当信源固定时，Ic(Y;X)是信道转移概率密度函数p(y/x)的下凸函数。④数据处理定理3、单变量连续信道的信道容量与单符号离散信道相仿，也可以将平均互信息量Ic(X;Y)理解为单变量连续信道的信息传输率R，即由平均互信息量Ic(X;Y)的凸函数性—信道固定时，平均互信息量是信源概率密度函数p(x)的上凸函数可知：信道固定时，总能找到一种信源概率密度函数，使信道的信息传输率最大，称该最大值为信道容量，即连续信道的信道容量的求取相当困难。4、加性连续信道及信道容量噪

6、声对输入的干扰作用表现为噪声和输入的线性叠加，即(1)加性连续信道其中，输入X的概率密度函数为p(x)，输出Y的概率密度函数为p(y)，噪声N的概率密度函数为p(n)。XY=X+NN当X和N相互独立时，加性连续信道的转移概率密度函数p(y/x)=p(n)。设坐标变换为相应的雅可比行列式(2)加性连续信道的信道容量如果噪声N是均值为0、方差为σ2的高斯噪声，输入X满足均值为零、方差为σX2的高斯分布，则称该加性信道为高斯加性信道。可以证明高斯加性信道的输出Y也满足均值为0，方差为σY2的高斯分布，且如输入X的平均功率被限定为PX，已知噪声N的平均功率为P

7、N，可取输出Y的平均功率根据限平均功率的最大熵定理，当输出Y为均值等于零、方差σY2等于PY的高斯分布时具有最大熵，即故高斯加性信道的信道容量条件是p(x)满足均值为0，方差为σX2的高斯分布。当信道的频带为(0,W)时，将信道的一次传输看成是一次采样，根据采样定理，采样率为2W可保证不失真。从而不失真的一次传输所需时间为1/2W，相应的最大信息传输速率该式即为著名的香农公式。香农公式说明：当最大信息传输速率一定时，增大信道的带宽，可以降低对信噪功率比的要求。说明当高斯加性信道的带宽很宽时，最大信息传输速率与信号功率近似成正比。例1，已知高斯加性信道的

8、带宽为3kHz，最大信息传输速率为1.5×104bps，求信噪功率比；如果将信噪功率比降低到8