信息论与编码课件复习总结.ppt

《信息论与编码课件复习总结.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、总复习重要的概念及运算熵及其计算互熵（平均互信息）及其计算信道容量及其计算（特别是对称及准对称信道容量）马尔科夫信源的平稳分布即时码的判定、信源编码方法（特别是霍夫曼编码）失真矩阵及平均失真度、失真定义域重要的定理（香农三大定理及香农公式）无失真信源编码定理有噪信道编码定理香农公式限失真信源编码定理1信息的如何度量？熵及互熵（平均互信息）、信道容量2.需要解决的问题：信息传输的可靠性与有效性问题信源编码与信道编码（香农三大定理）通信的基本问题（主要问题、关键问题）2自信息量联合自信息量条件自信息量3互信息量I(xi;yj)4平均自信息量（熵）H(X)表示信源的平均不确定度——平均信息量

2、H(X)表示信源的随机性H(X)表示信源输出每个符号所提供的平均信息量H(X)表示信宿所能获得的最大信息量5条件熵联合熵平均互信息量（互熵）6名称符号关系图示无条件熵条件熵条件熵联合熵交互熵各种熵之间的关系7信道由传递概率矩阵唯一决定，传递概率矩阵称为信道矩阵P。信道的描述8信道容量信道容量表征信道传送信息的最大能力。实际中信道传送的信息量必须小于信道容量。信道容量与信源分布无关9损失熵：信源符号通过有噪信道传输后所引起的信息量损失，即信道疑义度H(X

3、Y)。噪声熵：在已知集X的条件下，对于集Y尚存在的不确定性，即条件熵H(Y

4、X)。10离散信道对照表分类无噪无损信道有噪无损信道无噪有

5、损信道定义H(X

6、Y)=0（无损）H(Y

7、X)=0（无噪）H(X

8、Y)=0（无损）H(Y

9、X)>0（有噪）H(X

10、Y)>0（有损）H(Y

11、X)=0（无噪）特点一一对应一多对应多一对应11分类无噪无损信道有噪无损信道无噪有损信道信道容量条件信道输入为等概分布信道输入为等概分布使信道输出为等概分布p(y)=1/s的输入分布12对称信道的信道容量计算特殊DMC的信道容量13特殊DMC的信道容量例：对称信道14特殊DMC的信道容量定理3.2：对于准对称信道，达到信道容量的输入分布为等概分布。证明：(略)准对称信道的信道容量计算15特殊DMC的信道容量例：准对称信道16霍夫曼(Huffman)编

12、码费诺(Fano)编码平均码长编码效率即时码存在（唯一可译码存在）的充要条件为：克拉夫特不等式17译码规则使平均错误概率pE最小为选择译码规则的准则(1)最大后验概率译码规则理想观测者规则选择译码函数F(yj)＝x*，使之满足条件(2)最大似然译码规则选择译码函数F(yj)＝x*，使之满足条件18平均错误概率若输入为等慨分布，则19单个符号的失真度的全体构成的矩阵，称为失真矩阵失真矩阵20平均失真由于xi和yj都是随机变量，所以失真函数d(xi，yj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真，记为21对于离散无记忆信源，R(

13、D)函数可写成p(ai)，i＝1，2，…，n是信源符号概率分布；p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m是转移概率分布；p(bj)，j＝1，2，…，m是接收端收到符号概率分布。信息率失真函数22R(D)函数的定义域23香农三大定理无失真信源编码定理：平均码长大于等于信源熵有噪信道编码定理：信息传输率小于等于信道容量限失真信源编码定理：信息传输率大于等于信息率失真函数压缩有限，接近无限传输有限，接近无限压缩有限，接近无限24结论：（1）带宽一定时，信道的最大传输率是信噪比的函数。（2）信噪比确定时，信道容量与带宽成正比。此时提高最大信息传输率的方法是提高带宽。香农公式25

14、总结掌握信息熵、条件熵和平均互信息之间的关系理解香农三大定理及香农公式掌握霍夫曼编码方法掌握最大后验概率译码方法掌握失真定义域的求法掌握离散对称、准对称信道的判定方法及其信道容量的求法掌握香农公式26