《信息论基础a》(清华)复习资料new

《《信息论基础a》(清华)复习资料new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论基础A复习资料作者郝仁第一章概论l在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息，把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。目前，信息论中主要研究语法信息l归纳起来，香农信息论的研究内容包括：1)信息熵、信道容量和信息率失真函数2)无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理3)信源编码、信道编码理论与方法l一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。信息科学以信息为研究对象，信息科学以信息运动规律为研究内容

2、，信息运动包括获取、传递、存储、处理和施用等环节。第二章离散信源及离散熵l单符号离散信源的数学模型：自信息量：，是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binaryunit)；对数底为e时，其单位为奈特(nat,natureunit)；对数底为10时，其单位为哈特(Hart,Hartley)自信息量性质：I(xi)是随机量；I(xi)是非负值；I(xi)是P(xi)的单调递减函数。l单符号离散信源的离散熵：，单位是比特/符号(bit/symbol)。离散熵的性质和定理：H(X)的非负性；H(X)的上凸性；最大离散熵定理：l如果除概率分

3、布相同外，直到N维的各维联合概率分布也都与时间起点无关，即：则称该多符号离散信源为N维离散平稳信源。lN维离散平稳信源的数学模型：l二维离散平稳信源的离散熵：H(X2/X1)称为条件熵，是条件信息量在联合概率上的数学期望，H(X1X2)称为联合熵，离散熵H(X1)、H(X2)称为无条件熵，H2(X1X2)称为平均符号熵且：，l对于，，当N→∞时，平均符号熵取极限值，称之为极限熵，用H∞表示：l如果离散平稳信源发出的符号序列中各符号相互独立，则称该信源为离散平稳无记忆信源。N维离散平稳无记忆信源(一维离散平稳信源的N次扩展信源)的数学模型：，其离散熵：信源的平均符号熵：l如果离散平

4、稳信源发出的符号只与前面已经发出的m(

5、单义可译码。单义可译码中，如果能在对应与每一个符号元的码字结束时立即译出的称为即时码，如果要等到对应与下一个符号元的码字才能译出的称为延时码。异前置码：任何一个码字都不是其他码字的前缀m元长度为ki,i=1,2,…,n的异前置码存在的充分必要条件是：，（克拉夫特(Kraft)不等式）l无失真编码定理：（香农第一定理）如果L维离散平稳信源的平均符号熵为HL(X1X2…XL)，对信源符号进行m元不等长组编码，一定存在一种无失真编码方法，当L足够大时，使得每个信源符号所对应码字的平均比特数：无失真编码定理从理论上阐明了编码效率：lL→∞时，则极限熵H∞是一个界限，通常也称为香农界对于L

6、维离散平稳无记忆信源，由于其平均符号熵HL(X1X2…XL)=H(X)，故对信源符号进行m元不等长组编码，一定存在一种无失真编码方法，当L足够大时，使得每个信源符号所对应码字的平均比特数：，此时香农界为H(X)。对离散平稳信源进行无失真编码，每个信源符号所对应码字的平均比特数平稳无记忆信源最多，m阶马尔科夫信源次之，一般平稳信源最少。l二进制香农码的编码步骤如下：1)将符号元xi按概率进行降序排列2)令p(x0)=0，计算第j-1个码字的累加概率：3)确定第i个码字的码长ki，满足下列不等式：4)将pa(xj)用二进制表示，取小数点后ki位作为符号元xi的码字。l哈夫曼(Huff

7、man)编码1)将符号元按概率进行降序排列2)为概率最小的符号元分配一个码元1，概率次小的符号元分配一个码元03)将概率最小的两个符号元合并成一个新的符号元，用两者概率之和作为该新符号元的概率；4)重复以上三个步骤，直到最后合并出一个以1为概率的符号元哈弗曼码有两种排列方式，分前置和后置。采用不同排列方法编出的哈夫曼码，其码字和码长可能完全不相同，但平均码长一定是相等的，因此编码效率不会因排列方法而改变。但放在前面可以使短码得到充分利用第四章离散信道及信道容量l符号离散信道的数学