信息论与编码纠错第1章

《信息论与编码纠错第1章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第一章信息论基础内容提要信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。本章首先引出信息的概念，简述信息传输系统模型的各个组成部分，进而讨论离散信源和离散信道的数学模型，简单介绍几种常见的离散信源和离散信道。§1.1信息的基本概念信息：物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。一．信息的基本含义二．信息、消息和信号的区别与联系信息：指事物运动的状态及状态变化的方式，是抽象的意识或知识。消息：一般指包含有信息的语言、文字

2、和图像，它载荷信息，但它不是物理性的。信号：是消息的物理体现，消息要传输，必须加载到某种特征的信号上去，它是信息的载体，是物理性的。通信系统中形式上传输的是消息，实质上传输的是信息，实际上传输的是信号。消息中包含信息，消息是信息的载体。三．什么是信息论四．信息论的发展及范畴划分1．狭义信息论：即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。（香农信息论）2．实用信息论：研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。3．广义信息论：包

3、括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。信息论：研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。§1.2信息传输系统信息传输系统模型1．信源：产生消息的源。2．编码器：将消息变成适合于信道传送的信号的设备。（1）信源编码器：对信源输出的消息进行适当的变换和处理，以达到减少或消除信源冗余度来提高信息的传输速率。（2）信道编码器：对信源编码器的输出进行变换和处理，通过增加冗余度来提高信息传输的可靠性。3

4、．信道：信息传输和存储的媒介。如光纤、电缆、无线电波等。4．译码器：译码是编码的逆变换，分为信道译码和信源译码。5．信宿：消息的接收者。可以是人，也可以是机器。实际通信系统模型信道编码信源编码保密译码信道译码信源译码保密编码噪声信道信源信宿(2)研究某性能时的简化框图——在具体研究某一性能时可将某些功能框合并，以简化①有效性研究——把保密编码、信道编码并入信道信源编码信源译码无噪广义信道信源信宿②可靠性研究——把信源编码、保密编码并入信源信道编码信道译码信道广义信源广义信宿信道编码信源编码保密译码信道译码信源译码保密编码

5、噪声信道信源信宿③保密性、认证性研究——把信源编码并入信源，信道编码并入信道保密译码保密编码无噪广义信道广义信源广义信宿信道编码信源编码保密译码信道译码信源译码保密编码噪声信道信源信宿§1.3离散信源及其数学模型一．信源的描述及分类1．信源的描述信源是产生消息的源，消息是随机的，因此可以用随机变量或随机过程来描述消息，在信息论中，通常用一个样本空间及其概率测度{X，p(X)}来描述信源。2．信源的分类根据X的不同情况(1)离散信源：消息集X为离散集合，即时间和空间都离散的信源；(2)连续信源：时间离散而空间连续的信源；(

6、3)波形信源：时间连续的信源，如语言、图像等。根据信源的统计特性(1)无记忆信源：X的各时刻取值相互独立；(2)有记忆信源：X的各时刻取值相互有关联。二．离散无记忆信源离散无记忆信源（DiscreteMemorylessSource，简记为DMS）输出的是单个符号的消息，不同时刻发出的符号之间彼此统计独立，而且符号集中的符号数目是有限的或可数的。离散无记忆信源的数学模型为离散型的概率空间，即【例】二进制对称信源只能输出符号0或1，输出0的概率为p，输出1的概率为1-p，信源概率空间描述为：【例】随机掷一个无偏的骰子，可能

7、出现的点数与其概率分布为：三．离散无记忆的扩展信源实际情况下，信源输出的消息往往不是单个符号，而是由许多不同时刻发出的符号所组成的符号序列。设序列由N个符号组成，若这N个符号取自同一符号集{a1,a2,…,ak}，并且先后发出的符号彼此间统计独立，我们将这样的信源称作离散无记忆的N维扩展信源。其数学模型为N维概率空间：为各种长为N的符号序列。=x1x2…xN，xi{a1，a2，…，ak}，1iN。序列集X={a1a1…a1,a1a1…a2,…,akak…ak}，共有M=kN种序列。由于序列是无记忆的，故序列的概率为

8、：【例】将二进制对称信源进行二维无记忆扩展，则信源序列共M＝22＝4种：00，01，10，11。由，得各序列的概率依次为：则将这4种序列看成4个符号，得到一个新的信源，即四．离散平稳有记忆信源如果该条件概率分布与时间起点无关，只与关联长度有关，则该信源为平稳信源。中、英文句子中前后出现的汉字、字母往往是有依赖的。这种