资源描述：
《【精品】信息论与编码第二章》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、第二章信源与信息爛（第二讲）（2课时）主要内容：（1）信源的描述（2）信源的分类重点：信源的分类，马尔可夫信源。难点：信源的描述，马尔可夫信源。作业：2.1,2.2,2.3说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。2.1信源的描述与分类在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程來描述信源输出的消息，或者说用一个样本空间及其概率测度一一概率空间来描述信
2、源。信源：产生随机变量、随机序列和随机过程的源。信源的基本特性：具有随机不确定性。信源的分类"离散信源：文字、数据、电报一一随机序列“连续信源：话音、图像一一随机过程离散信源：输出在时间和幅度上都是离散分布的消息。消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。r发出单个符号的无记忆信源离散无记忆信源：1发出符号序列的无记忆信源离散信源Y1离散有记忆信源:J发出符号序列的有记忆信源I发出符号序列的马尔可夫信源概率论基础：无条件概率，条件概率和联合概率的性质和关系：非负性p（yj,
3、p（yj/xi）9p（Xj/yj）,p（兀儿）51完备性Xpg=p（）i）=i，工/儿）=i，i=lj=lZ=1工p（yj/兀）=1,工工Pg）=1；=1J=1z=l工卩(兀兀)=P(兀)，工P(xy)=P(xJ/=1J=l联合概率Pgj)=p(x.)p(yj/xi)=p(y7)p(x./y.)当X与Y相互独立时，p(xiyj)=pCx^p^yj)卩(儿/兀)=〃(")，P(xJyJ=P(x)贝叶斯公式//、PE)z/、卩(兀儿)p(xi/yJ)=-—:—，p()jg=—;—必)£p(%y)Z=
4、lj=2.1.1无记忆信源：例如扔骰子，每次试验结果必然是1〜6点中的某一个面朝上。可以用一个离散型随机变量X来描述这个信源输出的消息。X兀1,兀2，兀3，尤4,无5，_pM_1/6,1/6,1/6,1/6,1/6,1/6_6并满足P(xi)=1/=!在实际情况中，存在着很多这样的信源、例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。这些信源输出的都是单个符号（或代码）的消息，它们符号集的取值是有限的或可数的。我们可用一维离散型随机变量X来描述这些信息的输出。这样的信息称为离散
5、信源。其数学模型就是离散型的概率空间：X]='•••石…£],Ogg±p（xi）=l_pM」»（坷）…卩（兀）…p（£）」/=ip（Xi）：信源输出符号Xi（i=l,2,…，n）的先验概率。当信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定。所以概率空间能表征这离散信源的统计特性。上式表示信源可能的消息（符号）数是有限的，只有n个：X],X2,...,xn,而且每次必定选取其中一个消息输出，满足完备集条件。这是最基本的离散信源。有的信源输出的消息也是单个符号，
6、但消息的数量是无限的，如符号集A的取值是介于a和b之间的连续值，或者取值为实数集R等。连续信源：输出在时间和幅度上都是连续分布的消息。消息数是无限的或不可数的，且每次只输出其中一个消息。我们可用一维的连续型随机变量X来描述这些消息。其数学模型是连续型的概率空间X-■M-或'R_P_Px(兀)__Px(兀)_eb并满足Ip(x)dx=1oJap（x）是随机变量X的概率密度函数。例如：随机取一干电池，测电压值作为输出符号，该信源每次输出一个符号，但符号的取值是在[0,1.5]Z间的所有实数，每次测量
7、值是随机的,可用连续型随机变最X来描述。在有些情况下，可将符号的连续幅度进行量化使其取值转换成有限的或可数的离散值.也就是把连续信源转换成离散信源来处理。很多实际信源输出的消息是由一系列符号组成，这种用每次发出1组含2个以上符号的符号序列来代表一个消息的信源叫做发出符号序列的信源。需要用随机序列（随机矢量）X=（X
8、X2・・・X
9、・・・Xl）来描述信源输出的消息，用联合概率分布来表示信源特件。X'「000001010011100101■1/61/61/61/61/61/6例如扔骰子:符号序列信源
10、是L为3的情况,此时信源X=(XjX2X3),/=1,2,…，L为离散消息序列的长度；X/={1,2,・・・，n},即每个离散随机变量消息都有n种取值的离散随机序列X的样值x可表示为X=（X]…X]・・・Xl）XenL=nXnX-Xn（共L个），即每个随机变量取值有n种，那么L个随机变量组成的随机序列，其样值共有『种可能取值。有时将这种由信源X输出的L长随机序列X所描述的信源叫做离散无记忆信源X的L次扩展信源。其对应的概率为：pO）=p（兀1…可…兀』=pMp（x2Ix{）p（x3I兀2兀1）…
