信息论与编码课程论文new

信息论与编码课程论文new

ID:47022093

大小:138.50 KB

页数:6页

时间:2019-06-21

信息论与编码课程论文new_第1页
信息论与编码课程论文new_第2页
信息论与编码课程论文new_第3页
信息论与编码课程论文new_第4页
信息论与编码课程论文new_第5页
资源描述:

《信息论与编码课程论文new》由会员上传分享,免费在线阅读,更多相关内容在工程资料-天天文库

1、信息论与编码题目香农信息论的基本理论探究姓名胡乐学号20092334064院系滨江学院电子工程系成绩二O一一年十二月二十八日6香农信息论的基本理论探究胡乐20092334064南京信息工程大学滨江学院2009级通信工程<二>班【内容摘要】:信息是自从人类出现以来就存在于这个世界上了,天地万物,飞禽走兽,以及人类的生存方式都离不开信息的产生和传播。人类每时每刻都在不停的接受信息,传播信息,以及利用信息。从原来的西汉时期的造纸,到近代西方的印刷术,以及现在的计算机,信息技术在人类历史的进程当中随着生产力的进步而发展。而

2、信息理论的提出却远远落后于信息的出现,它是在近代才被提出来而形成一套完整的理论体系。信息论的主要基本理论包括:信息的定义和度量;各类离散信源和连续信源的信息熵;有记忆、无记忆离散和连续信道的信道容量;无失真信源编码定理。【关键词】:平均自信息信道容量信源编码霍夫曼码一.信息的度量在各种通信系统的信源当中,离散随机信源是一类最基本的信源,信源输出是单个的符号的消息,并且消息之间是两两互不相容的。假设有个一维离散无记忆信源,它的概率分布函数决定了他所携带的信息。该信源空间中共有q个符号,每个符号发生的概率是Pi,那么发

3、出某个符号所携带的信息量是-logPi,由于概率是在0和1之间的,使得每一事件的信息量是非负的。如果该事件发生的概率是0,或者是1,则表明该事件一定不会发生或者一定会发生。那么他所携带的信息量是0。从理论上讲,该事件发生的概率越小,那么它的不确定性也就越大,它所携带的信息量也就越大。该事件发生的概率越大,它所携带的信息量也就越大。这也是人们为什么一听到一件不可思议的事情发生了之后,会感到非常惊讶的原因。对于通信系统的信源来说,它不会仅仅只发出一个消息,这个消息发生的概率也不是1。必然会有别的可能的情况发生。那么对于

4、一个信源来讲,它所包含的信息量是什么样子的,我们可以用平均自信息量来度量,即对每个事件各自所携带的信息量做一个加权平均。即可以得到信源的平均自信息量。信息熵的定义如下:平均自信息量也称为信息熵。信息熵是从平均意义上来表征信源的总体信息测度的。对于某特定的信源,它的信息熵是一个确定的数值。不同的信源因为其概率分布不同,它的熵也不同。6信息熵具有一些基本的性质,比如,对称性,确定性,非负性,扩展性,可加性等等。这里面有一个最大离散熵定理,表明:离散信源情况下,对于具有q个符号的离散信源,只有在q个信源符号等可能出现的情

5、况下,信源熵才能达到最大值,这样也表明等概率分布信源的平均不确定性为最大。这个定理为我们后面研究有噪信道编码定理提供了有力的依据。离散平稳信源是一种非常重要的信源模型。如果不同时刻信源输出符号的概率分布完全相同,则称为一维离散平稳信源。一维离散平稳信源无论在什么时候均按P(X)的概率分布输出符号。最简单的离散平稳信源就是二维离散平稳信源。二维离散平稳信源就是信源输出的随机序列…,X1,X2,…,Xi,…,满足其一维和二维概率分布与时间起点无关。二维离散平稳信源的联合熵此联合熵表明原来信源X输出任意一对可能的消息的共

6、熵,即描述信源X输出长度为2的序列的平均不确定性,或者说所含有的信息量。可以用作为二维离散平稳信源X的信息熵的近视值。除了平稳离散信源之外,还存在着非平稳离散信源。在非平稳离散信源中有一类特殊的信源。这种信源输出的符号序列中符号之间的依赖关系是有限的,这种关系满足我们在随机过程中讲到的马尔可夫链的性质,因此可用马尔可夫链来处理。马尔可夫信源是一种非常重要的非平稳离散信源。那么马尔可夫信源需要满足一下两个条件:(1)某一时刻信源符号的输出只与此刻信源所出的状态有关,而与以前的状态及以前的输出符号都无关。(2)信源某时

7、刻所处的状态由当前的输出符号和前一时刻(-1)信源的状态唯一决定。马尔可夫信源的输出的符号是非平稳的随机序列,它们的各维概率分布随时间的推移可能会改变。第时间信源输出什么符号,不但与前一(-1)时刻信源所处的状态和所输出的符号有关,而且一直延续到与信源初始所处的状态和所输出的符号有关。一般马尔可夫信源的信息熵是其平均符号熵的极限值,它的表达式就是:.二.平均互信息信道的任务是以信号方式传输信息和存储信息的。我们知道信源输出的是携带着信息的消息。消息必须要转换成能在信道中传输或存储的信号,然后通过信道传送到收信者。并

8、且认为噪声或干扰主要从信道中引入。信道根据用户的多少,可以分为两端信道,多端信道。根据信道输入端和输出端的关联,可以分为无反馈信道,反馈信道。根据信道的参数与时间的关系信道可以分为固定参数信道,时变参数信道。根据输入和输出信号的统计特性可以分为离散信道,连续信道,半离散或半连续信道和波形信道。为了能够引入平均互信息量的定义,首先要看一下单符号离散信道的数学模

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。