信息论与编码总复习

《信息论与编码总复习》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第1章　绪论重点掌握信息的特征信息、消息、信号的联系和区别通信系统的物理模型一般了解信息论理论的形成和发展过程信息论的研究内容8/4/20211信息的特征信息的基本概念在于它的不确定性，任何已确定的事物都不含信息。接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识信息可以产生，也可以消失，同时信息可以被携带、贮存及处理信息是可以量度的，信息量有多少的差别8/4/20212消息、信号和信息信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体消息是具体的、非物理的，可描述为语言文字、符号

2、、数据、图片，能够被感觉到，同时它是信息的载荷体，是信息论中主要描述形式信息是抽象的、非物理的哲学层表达信息的物理层表达信息的数学层表达8/4/20213通信系统模型简介信道信源信源编码加密信道编码干扰源信宿信源解码解密信道解码加密密钥解密密钥8/4/20214第2章　信源及信源熵重点掌握信源的分类和数学描述自信息量、互信息离散信源熵离散序列信源的熵熵的性质一般了解连续信源熵冗余度8/4/20215信源分类离散信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源8/4/20216信源的数学描述单符号

3、无记忆信源用一维离散型随机变量X来描述这些信息的输出。数学模型符号序列无记忆信源很多实际信源输出的消息往往是由一系列符号组成，这种用每次发出1组含2个以上符号的符号序列来代表一个消息的信源叫做发出符号序列的信源。设信源输出的随机序列为X，序列中的变量8/4/20217信源的数学描述有记忆信源的联合概率表示比较复杂，需要引入条件概率来反映信源发出符号序列内各个符号之间的记忆特征。8/4/20218信源的数学描述一阶马尔可夫信源m阶马尔可夫信源8/4/20219自信息量随机事件的自信息量定义为其概率对数的负值，即I(xi)含义:当事件xi发生以前，表示事件xi发生的不确定性当事件xi发

4、生以后，表示事件xi所含有的信息量8/4/202110自信息量的特性I(xi)是非负值当p(xi)=1时，I(xi)=0当p(xi)=0时，I(xi)=∞I(xi)是先验概率p(xi)的单调递减函数，即当p(x1)＞p(x2)时，I(x1)＜I(x2)两个独立事件的联合信息量等于它们分别的信息量之和。即：统计独立信源的信息量等于它们分别的信息量之和。8/4/202111联合自信息量两个消息xi，yj同时出现的联合自信息量当xi,yj相互独立时，有p(xiyj)=p(xi)p(yj)，那么就有I(xiyj)=I(xi)+I(yj)。xiyj所包含的不确定度在数值上也等于它们的自信息量

5、。8/4/202112条件自信息量在事件yj出现的条件下，随机事件xi发生的条件概率为p(xi/yj)，则它的条件自信息量定义为条件概率对数的负值：在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。联合自信息量、条件自信息量和自信息量8/4/202113信源熵离散信源熵为信源中各个符号不确定度的数学期望信源熵的物理含义表示信源输出前信源的平均不确定性表示信源输出后每个符号所携带的平均信息量8/4/202114条件熵在给定yj条件下，xi的条件自信息量为I(xi/yj)，X集合的条件熵在给定Y（即各个yj）条件下，X集合的条件熵在给定X（即各个

6、xi）条件下，Y集合的条件熵条件熵是在联合符号集合XY上的条件自信息量的联合概率加权统计平均值。条件熵H(X/Y)表示已知Y后，X的不确定度。8/4/202115联合熵联合熵是联合符号集合XY上的每个元素对xiyj的自信息量的概率加权统计平均值联合熵H(XY)表示X和Y同时发生的不确定度。联合熵、信源熵和条件熵之间的关系8/4/202116互信息定义：xi的后验概率与先验概率比值的对数事件xi是否发生具有不确定性，用I(xi)度量。接收到符号yj后，事件xi是否发生仍保留有一定的不确定性，用I(xi/yj)度量。接收到某消息yj后获得的关于事件xi的信息量，用I(xi;yj)表示。

7、8/4/202117平均互信息互信息量I(xi;yj)在X集合上的统计平均值为I(X;yj)在Y集合上的概率加权统计平均值平均互信息（量）8/4/202118平均互信息量的物理意义H(X/Y)：信道疑义度，损失熵信源符号通过有噪信道传输后引起的信息量损失。信源X的熵等于接收到的信息量加损失掉的信息量。H(Y/X)：噪声熵，散布度它反映了信道中噪声源的不确定性。输出端信源Y的熵H(Y)等于接收到关于X的信息量I(X;Y)加上H(Y/X)，这完全是由信道中噪声引起的。8/