《离散信源》PPT课件

《《离散信源》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、离散信源及其信息测度一、信源的数学模型及分类二、离散信源的信息熵及其性质三、离散无记忆的扩展信源四、离散平稳信源五、信源的剩余度一、信源的数学模型及分类二、离散信源的信息熵及其性质三、离散无记忆的扩展信源四、离散平稳信源五、信源的剩余度离散信源及其信息测度概念：信源是一个随机出现的消息集合，因此用消息的概率空间来描述信源概率空间一个样本空间和它的概率测度。信源的数学模型及分类样本空间概率函数例1：扔骰子若扔一颗均匀的骰子，分析研究其下落后，朝上一面的点数。信源的数学模型及分类例2：音频信源信源的数学模型及分

2、类若信源输出的消息数是有限的或可数的，而且每次只输出符号集中的一个消息，这样的信源称为简单的离散信源。信源空间信源的数学模型及分类例箱子中有红、黄、蓝、白四种不同颜色的彩球，它们大小质量、重量完全一样。若从这个箱子中任意摸取出一个球，并把球的颜色当作试验的结果。这个随机试验就可看作是一个单符号离散信源。信源的输出符号集就是四种不同的颜色A：{红黄、蓝、白}，试构建这个信源的信源空间。样本概率信源的数学模型及分类若信源输出的是单个符号的消息，但是其可能出现的消息数是不可数的无限值，即输出消息的取值是连续的，这

3、样的信源称为简单的连续信源。或或例如：语音信号；遥控系统中测得的电压、温度、压力等连续数据。信源的数学模型及分类信源的分类离散信源：电报、文字、代码D.S07314575707连续信源：模拟语音、模拟视频C.S信源的数学模型及分类信源的数学模型及分类信源离散信源连续信源离散无记忆信源(DMS)离散有记忆信源简单DMS:且：复杂信源：且：时间离散的连续源随机波形源1)离散无记忆信源2)离散有记忆信源信源的数学模型及分类平稳信源：随机矢量的各维概率密度都与时间起点无关信源的数学模型及分类非平稳信源：输出的随机序

4、列X中各随机变量之间有依赖关系信息论与编码基础离散信源一、信源的数学模型及分类二、离散信源的信息熵及其性质三、离散无记忆的扩展信源四、离散平稳信源五、信源的剩余度离散信源的信息熵设离散信源X，其概率空间为：则其中事件ai的自信息为：例：离散信源的信息熵定义：信源输出个消息的自信息量I(ai)的数学期望为信源的平均自信息量，即又称为信源X的信息熵或熵。说明：平均自信息对象对某给定信源，信息熵H(X)的取值是固定的，而不是随机变量。离散信源的信息熵例:三个信源离散信源的信息熵例:从另一角度领会信息熵的含义若布袋

5、内放100个球。其中70个是红色（a1）30个是白色（a2）。现随机摸出一个球，求猜对颜色的难易程度或求每次实验结果所能提供的平均信息量bit/sign离散信源的信息熵离散信源的信息熵说明：含义辨析单位（A）描述信源X的平均不确定性（B)平均每个信源符号所携带的信息量I(ai)与H(X)相同点：（本质）描述不确定性大小不同点：（对象）个别事件与整个集合bit/sig,nat/sig,hart/sig信息熵的物理含义练习：离散信源的信息熵离散信源的信息熵——联合熵和条件熵定义：联合集XY上，联合自信息的平均值

6、定义为联合熵，即：离散信源的信息熵——联合熵和条件熵例：已知DMS：二次扩展信源离散信源的信息熵——联合熵和条件熵N次扩展信源的数学模型：N次扩展信源含义：扩展信源XN中平均每个消息序列提供的信息量（bit/N-sigs)离散信源的信息熵——联合熵和条件熵定义：联合集XY上，条件自信息的平均值定义为条件熵，即：离散信源的信息熵——联合熵和条件熵例：设箱中有100个球，其中40个黑球，60个白球。做从箱中取球且不放回试验，连续进行两次，试求猜中第二个球颜色的难度。解：设用X表示取出第一个球的颜色，Y表示取出第

7、二个球的颜色离散信源的信息熵——联合熵和条件熵例：设二维离散平稳信源X且问：X平均每符号输出的信息量？解：辨析为何不能用离散信源的信息熵——联合熵和条件熵例题板书平均符号熵熵的小结自信息熵条件自信息联合自信息条件熵联合熵信息论与编码基础离散信源一、信源的数学模型及分类二、离散信源的信息熵及其性质三、离散无记忆的扩展信源四、离散平稳信源五、信源的剩余度信息论与编码基础离散信源1、信源的信息熵3、熵的基本性质2、联合熵和条件熵熵的基本性质概率矢量熵函数H(0.3,0.4,0.3)H(0.3)非负性熵的基本性质确

8、定性熵的基本性质对称性例设X,Y,Z三个信源节日上空彩球学术会议参与者肤色天气情况熵的基本性质扩展性熵的基本性质可加性信源X,Y统计独立熵的基本性质熵的基本性质强可加性进一步推广之，N维联合信源熵的链式法则为极值性信息论与编码基础离散信源极值性最大离散熵定理信息论与编码基础离散信源例，二元信源（1，0）的信息熵H(0,1)确定性H(0.5,0.5)极值性00.51ωH(ω)1思考题3信息论与编码基础离散信源思考题