第6章连续信源的熵连续信道的平均互信息与信道容量ppt课件.ppt

《第6章连续信源的熵连续信道的平均互信息与信道容量ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第6章连续信源的熵、连续信道的平均互信息与信道容量教学内容和要求理解单符号连续信源及其模型，理解其熵，掌握其微分熵理解单符号连续信道及其模型，掌握其平均互信息，理解其信道容量掌握高斯信道的信道容量，香农公式6.1单符号连续信源的熵与微分熵1、单符号连续信源定义信源发出的消息为单一符号，这些符号随机取值于一个连续域表示连续型随机变量X随机变量X的取值x为信源发出的消息例1例2概率密度函数p(x)如图所示2、熵与微分熵p(x)xbaa+(i-1)Δxa+iΔxx落在第i个区域的概率根据中值定理p(x)xbaa+(i-1)Δxa+i

2、Δx①熵②微分熵信源发出消息x所对应概率密度函数p(x)对数负值的数学期望，用h(X)表示定义表示微分熵不能作为连续信源的信息度量定义微分熵的目的微分熵差具有信息度量的意义连续信源的微分熵与离散信源的熵在形式上统一均匀信源的微分熵例3高斯信源的微分熵例4①不具非负性例如，当b-a<1时，均匀信源的微分熵②严格上凸3、微分熵的主要性质和最大微分熵定理微分熵h(X)对于信源概率密度函数p(X)严格上凸③平均功率受限下的最大微分熵定理连续信源一般讨论特定限制条件下的最大微分熵最常用的限制条件——平均功率受限——均值为0且方差受限设p

3、(x)是任意概率密度函数，但6.2单符号连续信道的平均互信息1、单符号连续信道定义对应于单符号连续信源和单符号连续信宿的信道表示信源——连续型随机变量X信宿——连续型随机变量Y随机变量X的取值x为信源发出的消息随机变量Y的取值y为信宿收到的消息Xp(y/x)Yp(y/x)为信道转移概率密度函数2、噪声熵与噪声微分熵p(y/xi)ydcc+(j-1)Δyc+jΔyx落在第i个区域基础上信道转移概率密度函数p(y/xi)如图所示i=1,2,…,Np(y/xi)ydcc+(j-1)Δyc+jΔyy/xi落在第j个区域的信道转移概率根

4、据中值定理①噪声熵②噪声微分熵信道将信源发出消息x转移为信宿收到消息y所对应信道转移概率密度函数p(y/x)对数负值的数学期望，用h(Y/X)表示定义表示3、平均互信息信宿收到消息y所对应概率密度函数p(y)对数负值的数学期望——信宿的微分熵与噪声微分熵之差，用I(X;Y)表示定义表示微分熵不能作为信息度量，平均互信息——微分熵差，具有信息度量的意义信宿每收到一条消息所含信源一条消息的平均信息以信宿为参考，利用信宿的微分熵和信道的噪声微分熵来度量信道中传输的平均信息以信源为参考，利用信源的微分熵和信道的损失微分熵来度量信道中传

5、输的平均信息4、平均互信息的主要性质①对称性②非负性③严格凸性信道给定时，I(X;Y)对于信源概率密度函数p(X)严格上凸信源给定时，I(X;Y)对于信道转移概率密度函数p(Y/X)严格下凸6.3高斯信道的信道容量1、高斯信道加性噪声——信道中噪声与信号相互独立且对信号的作用表现为线性叠加定义表示XY=X+ZZ2、高斯信道的噪声微分熵雅可比行列式3、高斯信道的信道容量单符号连续信道给定时，I(X;Y)对于信源概率密度函数p(X)严格上凸——总能找到一种信源概率密度函数p(X)，使I(X;Y)达到最大定义信道给定时平均互信息I(

6、X;Y)的最大值，用C表示表示信源平均功率受限下，信宿高斯分布是否可达？达到信道容量的信源概率密度函数信道容量6.4带宽有限高斯信道的信道容量——香农公式1、波形信道定义对应于波形信源和波形信宿的信道表示信源——连续型随机过程X(t)信宿——连续型随机过程Y(t)随机过程X(t)在t时刻的取值x(t)为信源发出的消息随机过程Y(t)在t时刻的取值y(t)为信宿收到的消息X(t)p[y(t)/x(t)]Y(t)p[y(t)/x(t)]为信道转移概率密度函数2、带宽有限高斯信道定义表示3、带宽有限高斯信道的信道容量根据采样定理，不

7、失真传输一条消息的最小时间T=1/2W[0,T]时间，波形信道→单符号连续信道信源平均功率受限下信道容量达到信道容量的信源概率密度函数4、单位时间的信道容量波形信道习惯于信道单位时间内平均互信息的最大值——单位时间的信道容量定义单位时间的信道容量，用Ct表示表示其中T为平均传输一条消息所需的时间单位为bit/sec(bps)5、香农公式T=1/2W6、香农公式的意义信道容量正比于信噪功率比，且信噪功率比小于1时信道容量仍大于0信道容量正比于所传输信号的带宽，但所传输信号的带宽趋于无穷时，信道容量趋于有限值信道容量一定时，增大所

8、传输信号的带宽，可以降低对信噪功率比的要求，反之亦然