信息导论-第6讲-信源熵

《信息导论-第6讲-信源熵》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2.3连续信源2.3.1一些基本概念2.3.2连续信源的熵2.3.3几种特殊连续信源的熵2.3.4连续熵的性质2.3.5最大连续熵定理2.3.6熵功率2.3.1一些基本概念(1)连续信源定义(2)随机过程及其分类(3)通信系统中的信号(4)平稳遍历的随机过程(1)连续信源定义连续信源：输出消息在时间和取值上都连续的信源。例子：语音、电视等。连续信源输出的消息是随机的，与随机过程{x(t)}相对应。可用有限维概率密度函数描述。(2)随机过程及其分类①随机过程②随机过程的分类①随机过程随机过程定义：随机

2、过程{x(t)}可以看成由一系列时间函数xi(t)所组成，其中i=1,2,3,…，并称xi(t)为样本函数。每个样本函数是随机过程的一个实现；每个样本函数不仅在时间上，而且在幅度取值上都是连续变化的波形。在某一固定的瞬时时刻t=ti，各个样本函数的取值，成为一个连续型的随机变量Xti；一般用n维概率密度函数族pn(x1,x2,…,xn,t1,t2,…,tn)来描述随机过程的统计特性，n越大，描述越完善；消息数是无限的。输出的每个可能的消息是随机过程{x(t)}中的一个样本函数。对于样本函数来说，它是

3、时间t的连续函数，时间的取值为不可数的无限多个。另外，当固定某一瞬时t=tk时，信源的输出是一个随机变量X，X的取值又是连续的，为不可数的无限多个值。因此连续信源可能有的消息数为无限多个。连续型信源，可用有限维概率密度函数族以及各维概率密度函数有关的统计量来描述。②随机过程的分类根据统计特性，连续随机过程可分为平稳与非平稳随机过程两大类。平稳随机过程：统计特性/各维概率密度函数不随时间平移而变化。非平稳随机过程：统计特性随时间平移而变化。(3)通信系统中的信号一般认为，通信系统中的信号都是平稳的随机

4、过程。虽然在无线通信系统中，受衰落干扰的无线电信号属于非平稳随机过程，但在正常通信条件下，都可近似地当做平稳随机过程或分段平稳的随机过程来处理。(4)平稳遍历的随机过程随机过程{x(t)}中某一样本函数x(t)的时间平均值定义：随机过程{x(t)}在某时刻ti所取的随机变量的统计平均值/集平均定义：遍历的随机过程：时间平均与统计平均相等，即2.3.2连续信源的熵(1)计算连续信源熵的两种方法(2)连续信源的种类(3)连续信源的数学描述(4)连续信源的熵(5)连续信源的联合熵(1)计算连续信源熵的两种

5、方法第一种方法：把连续消息经过时间抽样和幅度量化变成离散消息，再用前面介绍的计算离散信源的方法进行计算。第二种方法：通过时间抽样把连续消息变换成时间离散的函数，它是未经幅度量化的抽样脉冲序列，可看成是量化单位Δx趋近于零的情况来定义和计算连续信源熵。(2)连续信源的种类连续信源分为单变量和多变量。多变量连续信源属于有记忆信源，直接计算有记忆连续信源的熵十分困难。一般处理方法是采用某种变换把有记忆信源变成无记忆信源，然后再计算信源熵。(3)连续信源的数学描述单变量连续信源的输出是取值连续的随机变量。可

6、用变量的概率密度、变量间的条件概率密度和联合概率密度描述。①一维概率密度函数②条件概率密度和联合概率密度函数①一维概率密度函数随机变量X的一维概率密度函数/边缘概率密度函数为②条件概率密度和联合概率密度函数条件概率密度函数联合概率密度函数它们之间的关系为边缘概率密度函数满足因为概率密度函数是不同的函数，所以用脚标来加以区分，以免混淆。为了简化书写，往往省去脚标，但在使用时要注意。(4)连续信源的熵①单变量连续信源数学模型②连续信源的熵③举例④连续信源熵的意义①单变量连续信源数学模型单变量连续信源数学

7、模型R是连续变量X的取值范围。先将连续信源在时间上离散化，再对连续变量进行量化分层，并用离散变量来逼近连续变量。量化间隔越小，离散变量与连续变量越接近，当量化间隔趋近于零时，离散变量就等于连续变量。设p(x)如图2.3.1所示。把连续随机变量X的取值分割成n个小区间，各小区间等宽，即Δ=(b-a)/n。则变量落在第i个小区间的概率为其中xi是a+(i-1)Δ到a+iΔ之间的某一值。当p(x)是X的连续函数时，由中值定理可知，必存在一个xi值使上式成立。这样连续变量x就可用取值为xi(i=1,2,…,

8、n)的离散变量近似。连续信源被量化成离散信源。②连续信源的熵上式右端的第一项一般是定值，而第二项在Δ→0时是一无限大量。丢掉后一项，定义连续信源的熵为上式定义的熵在形式上和离散信源相似，也满足离散熵的主要特性，如可加性，但在概念上与离散熵有差异因为它失去了离散熵的部分含义和性质。③举例若连续信源的统计特性为均匀分布的概率密度函数当(b-a)<1时，Hc(X)<0，为负值，即连续熵不具备非负性。④连续信源熵的意义连续信源熵并不是实际信源输出的绝对熵；连续信源的绝对熵还有