信息论与编码基础教程第二章

《信息论与编码基础教程第二章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、张丽英、制作本章第二次课本章第三次课本章第四次课本章第五次课复习:1.信息的基本理论的出处美国科学家C.E.Shannon于1948年发表的著名论文《通信的数学理论》.2.什么是信息信息是事物运动状态或存在方式的不确定性的描述。（香农）3.基本通信系统的组成2.1信源及分类2.2单符号离散信源2.3多符号离散信源2.4连续信源2.5冗余度第2章信源及信源熵本次课讲的内容相关知识复习2.1信源及分类2.2单符号离散信源2.2.1单符号离散信源的数学模型2.2.2自信息量概率论知识复习基本事件：随机试验的每一个可能的结果（样本点）。样本空间：基本事件的

2、集合。复杂事件：多个基本事件所组成的事件。随机事件：无论基本事件还是复杂事件，它们在试验中发生与否，都带有随机性。相关知识复习事件域：基本事件和复杂事件是样本空间的子集，所有子集的全体。概率空间：三要素—样本空间、事件域(集合)、概率。事件A的概率：A中样本点数与样本空间中样本点之比。先验概率：根据以往的统计规律得到的。相关知识复习必须掌握的概率论知识1）条件概率2）联合概率相关知识复习3)全概率：设B1,B2,…是一列互不相容的事件(BiBj=0），且有B1∪B2∪…=Ω（样本空间）；P(Bi)＞0,i=1，2…，则对任一事件A，有：相关知识复习

3、4)贝叶斯(Bayes)公式:设B1,B2,…是一列互不相容的事件(BiBj=0），且有B1∪B2∪…=Ω（样本空间）；p(Bi)＞0，i=1，2，…，则对任一事件A，有：相关知识复习第2章信源及信源熵2.1信源及分类1.信源的描述直观地说:信源就是信息的来源。确切地说:信源是产生消息（符号）、消息序列、连续消息的来源。2.1信源及分类信源发出了消息，消息载荷着信息，信息具有不确定性。从数学分析上看，由于消息具有的不确定性，因此信源可以看成是产生随机变量、随机序列（矢量）和随机过程的源。在实际通信中最常见的信源有话音、文字、图像、数据等。2.1信源

4、及分类从信源发出的消息在时间上和幅度上的分布来考虑分类，可将其分为离散信源和连续信源。离散信源：指发出在时间和幅度上都是离散分布的离散消息的信源。如：文字、数字、数据、字母等。2.信源的分类2.1信源及分类离散信源又可分为无记忆离散信源和有记忆离散信源。无记忆离散信源:发出的各个符号是相互独立的；各符号序列中的各个符号之间是没有统计关联的关系。各个符号的出现概率是它自身的先验概率。无记忆离散信源包含发出单符号的无记忆离散信源和发出符号序列的无记忆离散信源。2.1信源及分类有记忆离散信源:发出的各个符号是相关联的。表述起来很困难。有记忆离散信源又可分

5、为发出符号序列的有记忆离散信源和发出符号序列的马尔可夫信源。2.1信源及分类当记忆长度为m+1时称这种记忆信源为m阶马尔可夫信源，即信源每次发出的符号与前m个符号有关，与更前面的符号无关。假设m阶马尔可夫信源输出的随机序列为X=X1X2…Xi-1Xi…XN。在这序列中某i时刻的随机变量X取什么符号只与前m个随机变量Xi-1Xi-2…Xi-m取什么符号有关，与其更前面的随机变量以及后面的随机变量取什么符号都无关。这样就可以用马尔可夫链来描述此信源。2.1信源及分类连续信源：指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源。如：语言、图像、

6、视频等。信源离散信源连续信源离散无记忆信源离散有记忆信源单符号的无记忆离散信源符号序列的无记忆离散信源符号序列的有记忆信源符号序列的马尔可夫信源图2-1信源的分类2.1信源及分类2.2单符号离散信源2.2.1单符号离散信源的数学模型单符号离散信源输出的消息是以一个符号的形式出现.如：文字、数字、字母、等符号。信源每次只发出一个符号代表一个消息，可用离散随机变量来描述。2.2单符号离散信源2.2单符号离散信源定义一个离散无记忆信源是由n个符号消息组成的集合:X={a1，a2···an}，这n个符号消息的概率分布是：称为符号ai的先验概率散信源数学模型

7、表示为：从概率的角度看，可以将符号消息ai看一个随机事件。因此ai具有不确定性。0≤p(ai)≤1，注意：大写字母X、Y、Z等代表随机变量，指的是信源的整体；而带有下标的小写字母ai，bj，ck等代表随机事件的某一结果或信源的某个元素。2.2单符号离散信源【例2.2-1】掷一颗质地均匀的骰子研究其下落后朝上一面的点数，每次实验结果必然是1，2…6点中的某一个面朝上。信源输出的消息是“朝上面是一点”，“朝上面是两点”，…“朝上面是六点等，六6个不同的消息。每次实验只能出现一种消息，出现哪一种消息是随机的，但必是六6种情况中的一种。用ai,(i=1,…

8、,6)来表示这些消息，得到信源的样本空间为符号集A=｛a1,a2,a3,a4,a5,a6｝。2.2单符号离散信源各消息都是