信息论基础-高等教育出版社-叶中行

《信息论基础-高等教育出版社-叶中行》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论基础主讲教师：张瑞娟绪论第1章随机变量的信息度量第2章随机过程的信息度量和渐近等分性第3章数据压缩和信源编码第4章数据可靠传输和信道编码第5章限失真信源编码和率失真函数第6章连续信源和信道编码理论绪论信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学研究可能性和存在性问题，为具体实现提供理论依据信息论研究的主要内容广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻

2、译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码。干扰源信道信道译码器信道编码器信源译码器信源编码器信宿信源等效信源等效信宿等效干扰信道信息传输系统模型3.信道信息传输和存储的媒介4.译码器译码是编码的逆变换，分为信道译码和信源译码。5.信宿消息的接收者。2.编码器将消息变成适合于信道传送的信

3、号的设备。1.信源产生消息的源。编码器信源编码器，提高传输效率信道编码器，提高传输可靠性第1章随机变量的信息度量§1.1自信息§1.2熵、联合熵、条件熵§1.3相对熵和互信息§1.4信息量的一些基本性质§1.5广义熵习题课§1.1自信息信息：通信领域指通信的消息；信号处理方面指包括了数字、数据、图像、语音等进行运算和处理所需的条件、内容和结果信源：消息的来源。信源的分类：离散信源和连续信源信源的表示方法：用随机变量X表示一个离散信源，X的可能取值，即信源可能输出的不同符号用集合χ表示自信息：信源发出的某个信号所含的信息量，

4、记为自信息与信号发生概率之间关系自信息满足的公理§1.2熵、联合熵、条件熵熵：对整个信源来说，每个信号的平均信息量的多少定义1.2.1离散随机变量X的熵定义为注意！熵只是概率分布p的函数，与X取什么值并无关系H(X)对数函数底熵的单位2比特(bit)e奈特(nat)10哈特(hartley)对数底与熵单位的对应关系§1.3相对熵和互信息第一级处理器第二级处理器X输入YZ级联处理器示意图数据处理定理：数据处理过程中只会丢掉一些信息，绝不会创造出新的信息，这就是所谓的信息不增性。编码信道UYX译码V一般通信系统§1.4信息量的

5、一些基本性质§1.5广义熵习题课x1y1x2y23/41/41/21/210013/41/41/21/2?XY1/3011/31/3010XY第2章随机过程的信息度量和渐近等分性§2.1信源和随机过程的基本概念§2.2随机过程的信息度量§2.3渐近等分性质§2.4渐近等分在数据压缩中的应用§2.5Shannon-McMillan-Breiman定理§2.1信源和随机过程的基本概念信源的模型表示成一个在信源字母集中取值的随机序列或随机过程信源分类信源可以按信号取值集合和信号取值时刻的连续性和离散性分类也可以按对应数学模型随机

6、过程的统计特征来分类信源分类信号取值集合信号取值时间集合信源名称离散离散离散信源(或数字信源)连续离散连续信源连续连续波形信源(或模拟信源)离散连续无记忆信源有记忆信源平稳或遍历信源马氏信源高斯信源信源分类随机过程随机过程数学定义随机过程分类离散参数、离散状态的随机过程离散参数、连续状态的随机过程连续参数、离散状态的随机过程连续参数、连续状态的随机过程严平稳过程宽平稳过程§2.2随机过程的信息度量§2.3渐近等分性质§2.4信源编码定理§2.5Shannon-McMillan-Breiman定理第3章数据压缩和信源编码§3

7、.1等长码§3.2变长编码§3.3哈夫曼码§3.4香农码和费诺玛信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。即同样多的信息用较少的码率传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。信道编码：是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率/带宽。与信源编码正好相反。§3.1等长码信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。无失真信源编码定理：是离散信源/

8、数字信号编码的基础；限失真信源编码定理：是连续信源/模拟信号编码的基础。信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类离散信源编码：独立信源编码，可做到无失真编码；连续信源编码：独立信源编码，只能做到限失真信源编码；相关信源编码：非独立信源编码。干扰源信道信道译码器信道编码器信源译码器信源