信息论与编码ppt第二章

《信息论与编码ppt第二章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章离散信源及其信息测度第一节信源的数学模型及分类第二节离散信源的信息熵第三节信息熵的基本性质第四节离散无记忆的扩展信源第五节离散平稳信源第六节马尔可夫信源第七节信源剩余度与自然语言的熵12第一节信源的数学模型及分类一、信源分类：根据消息在时间/空间和幅度取值是否连续分类：3信源分类4离散信源分类5离散信源分类6离散信源分类7离散信源的数学模型8第二节离散信源的信息熵9信息的度量10信息的度量11自信息12自信息13自信息14自信息15自信息例2.1从英文字母中任意取一个字母的信息是多少？例2.2设随机选择一个m位的二进制串，该m位串包含多少信息？例2.3设

2、每一页书包含100个字符，每个字符从26个字母中等概率选取，一页书包含的信息是多少？两页书包含的消息又是多少？请思考课后习题2.516信息熵（或信源熵）请使用熵的定义再次计算课后习题2.517信息熵（或信源熵）18信息熵（或信源熵）19信息熵（或信源熵）20信息熵（或信源熵）21第三节信息熵的基本性质22信息熵的基本性质23信息熵的基本性质24信息熵的基本性质3.25信息熵的基本性质等概率分布信源的平均不确定性为最大。——称为最大离散熵定理。26信息熵的基本性质4.扩展性说明：信源的消息数增多时，若这些消息发生的概率很小（接近于0），则信源的熵不变。27信息熵

3、的基本性质5.可加性28信息熵的基本性质29信息熵的基本性质30信息熵的基本性质31信息熵的基本性质利用强可加性-1来理解强可加性-232举例一个班共有40人，其中男生30人，女生10人；男生中身高在1.6-1.7之间的有5人，在1.7-1.8之间的有20人，在1.8以上的有5人；女生中身高在1.5-1.6之间的有3人，在1.6-1.7之间的有5人，在1.7以上的有2人。求该信源的熵。33信息熵的基本性质7.递增性34信息熵的基本性质例：35信息熵的基本性质36正因为熵函数具有上凸性，所以熵函数具有极值和最大值存在。37信息熵的基本性质38第四节离散无记忆的扩

4、展信源前面讨论的只是最简单的离散信源，即信源每次输出只是单个符号的消息。实际信源输出的消息往往是时间上或空间上的一系列符号。如电报系统，序列中前后符号间一般是有统计依赖关系的。如在电报系统中，我们可以把两个二元数字看成一组，会出现四种可能情况：00、01、10和11，我们可以把这四种情况看成一个新的信源,称为二元无记忆信源的二次扩展信源；相应的，如果把N个二元数字看成一组，则新的信源称为二元无记忆信源的N次扩展信源。39一般情况设一个离散无记忆信源为：则该信源的N次扩展信源为：第四节离散无记忆的扩展信源式中，每个是对应于某一个由N个组成的序列。40其中：根据信

5、息熵的定义：可以证明，对于离散无记忆的扩展信源第四节离散无记忆的扩展信源41例:有一离散无记忆信源而2次扩展信源为：信源的9个符号为：求其二次扩展信源的熵。42其概率关系为:A1A2A3A4A5A6A7A8A91/161/81/161/81/41/81/161/81/16计算可知推广：信源每个输出符号含有的平均信息量为43第五节离散平稳信源1、离散平稳信源的数学定义所谓平稳随机序列，就是序列的统计性质与实践的推移无关，即信源所输出的符号序列的概率分布与时间起点无关。44一维离散平稳信源定义：信源所输出的随机序列满足即其一维概率分布与时间起点无关，则序列是一维平

6、稳的。具有这样性质的信源称为一维离散平稳信源。45二维离散平稳信源若信源输出的随机序列同时还满足二维联合概率分布也与时间起点无关，即则信源称为二维离散平稳信源。表示任何时刻信源连续输出两个符号的联合概率分布也完全相等。46二维平稳信源及其信息熵最简单的平稳信源——二维平稳信源，信源发出序列中只有前后两个符号间有依赖关系，我们可以对其二维扩展信源进行分析。二维离散平稳信源的概率空间:连续两个信源符号出现的联合概率分布为：47已知符号出现后，紧跟着出现的条件概率为：由二维离散信源的发出符号序列的特点可以把其分成每两个符号一组，每组代表新信源中的一个符号。并假设组与

7、组之间是统计独立的，互不相关的。得到一个新的离散无记忆信源，其联合概率空间为：二维平稳信源及其信息熵48根据信息熵的定义，可得：（1）联合熵可以表征信源输出长度为2的平均不确定性，或所含有的信息量。因此可以用作为二维平稳信源的信息熵的近似值。二维平稳信源及其信息熵49(2)条件熵则：二维平稳信源及其信息熵表示：当前面一个符号已知时，再输出后面一个符号的总的平均不确定性。50另外还可以得到：只有信源统计独立时等号成立。这里都取自同一概率空间X且信源是平稳的，则有可以证明：二维平稳信源及其信息熵51例题52联合熵与条件熵53联合熵与条件熵5455565758596

8、06162联合熵与条件熵63联合熵与条