(波形信源和波形信道)

《(波形信源和波形信道)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论ElementsofInformationTheory蒋青jiangq@cqupt.edu.cnTEL：6246051705-06学年上1ElementsofInformationTheory4、波形信源和波形信道4.1波形信源的统计特性和离散化4.2连续信源和波形信源的信息测度4.3具有最大熵的连续信源4.4熵功率4.5连续信源熵的变换4.6连续信道和波形信道的分类4.7连续信道和波形信道的信息传输率4.8连续信道和波形信道的信道容量05-06学年上2ElementsofInformationTheory4.1波形信源的统计特性和离散化随机变量随机过

2、程随机矢量05-06学年上3ElementsofInformationTheory表4.1消息(信号)取值的集合消息(信号)取值时刻的集合信源种类离散离散离散信源(Discretesource)/数字信源(Digitalsource)连续连续波形信源Waveformsource/模拟信源(Analogsource)连续离散连续信源(Continuoussource)离散连续05-06学年上4ElementsofInformationTheory4.2连续信源和波形信源的信息测度连续信源的数学模型并满足05-06学年上5ElementsofInformation

3、Theory一维概率密度函数一维概率分布函数条件概率密度函数联合概率密度函数05-06学年上6ElementsofInformationTheory假定连续信源X的概率密度函数p(x)如右图所示。我们把取值区间分割成n个等宽的小区间。X处于第i区间的概率为05-06学年上7ElementsofInformationTheory这样，连续变量X就可用取值为xi的离散变量Xn来近似。连续信源X被量化成离散信源。05-06学年上8ElementsofInformationTheory这时离散信源Xn的熵是当n∞,△0，离散随机变量Xn趋于连续随机变量X，而离散信

4、源的熵H(Xn)的极限值就是连续信源的信息熵：05-06学年上9ElementsofInformationTheory定义连续信源的熵为：又称为差熵、微分熵、相对熵。两随机变量的联合熵和条件熵：连续信源的差熵05-06学年上10ElementsofInformationTheory连续信源差熵的性质可加性：凸状性和极值性：差熵H(X)是输入概率密度函数p(x)的凸函数。即：对于某一概率密度函数，可以得到差熵的最大值。05-06学年上11ElementsofInformationTheory差熵可为负值。例如，若概率密度函数为则05-06学年上12Element

5、sofInformationTheory例：设有一连续随机变量，其概率密度函数为又有试求这随机变量的熵。05-06学年上13ElementsofInformationTheory连续信源的平均互信息两个连续随机变量X、Y的互信息定义为：单位为比特/自由度或奈特/自由度05-06学年上14ElementsofInformationTheory三种特殊连续信源的差熵1、均匀分布连续信源的熵值一维连续随机变量X在区间内均匀分布时比特/自由度05-06学年上15ElementsofInformationTheory推广：均匀分布N维连续信源的差熵为05-06学年上16

6、ElementsofInformationTheory2、高斯信源的熵值高斯信源是指信源输出的一维随机变量X的概率密度分布是正态分布，即：该连续信源的熵为：05-06学年上17ElementsofInformationTheory3、指数分布连续信源的熵值指数分布的一维连续信源X的概率密度函数为：其中常数a是一维连续信源X的均值，该连续信源的熵为：05-06学年上18ElementsofInformationTheory4.3具有最大熵的连续信源离散信源的最大熵问题：离散信源的各符号为等概率分布时，信息熵有最大值（最大离散熵定理）。05-06学年上19Elem

7、entsofInformationTheory在什么条件下，连续信源的熵最大？在不同的条件下，信源的最大熵也不同。05-06学年上20ElementsofInformationTheory通常有三种情况是我们感兴趣的：一种是信源输出值受限的情况，另一种是信源输出的平均功率受限的情况，还有一种是均值受限的情况。下面分别讨论。05-06学年上21ElementsofInformationTheory峰值功率受限条件下信源的最大熵（取值幅度受限）定理：若信源输出的幅度被限定在区域内，则当输出信号的概率密度分布是均匀分布时，信源具有最大熵。最大熵为：05-06学年上2

8、2ElementsofInformat