信息论与编码第1章

《信息论与编码第1章》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第一章绪论（第一讲）（2课时）主要内容：（1）教学目标（2）教学计划（3）参考书（4）考试问题（5）信息论的基本概念（6）信息论发展简史和现状（7）通信系统的基木模型重点：通信系统的基木模型难点：通信系统的基木模型特别提示：运用说明：本堂课作为整本书的开篇，耍交待清楚课程开设的H的，研究的内容，对学习的要求；在讲解过程中要注意结合一•些具体的应用实例，避免空洞地叔述，以此激发同学的学习兴趣，适当地加入课堂捉问，加强同学的学习主动性。信息论与编码（Informatics&Coding）开场口教宁目标：木课程主要讲解香农信息论的基木理论、基木

2、概念和基木方法，以及编码的理论和实现原理。介绍信息的统计度量，离散信源，离散信道和信道WM；然后介绍无失真信源编码、有噪信道编码，以及限失真信源编码等，然后介绍信道编码理论，最后也简单介绍了密码学的一些知识。教学重点：信息度量、无失真信源编码、限失真信源编码、信道编码的基木理论及实现原理。教学计划：信息论：约2（）学时信道编码：约19学时*密码学：约8学时参考书：1・信息论与编码，曹雪虹张宗橙编，北京邮电大学出版社，20012.信息论一基础理论与应用，傅祖芸编著，电子工业出版社，20013.信息理论与编码，姜丹钱土美编著4.信息论与编码，

3、吴伯修归绍升祝宗泰俞槐蚀编苦，1987考试问题：笫一章绪论信息论的基本概念信息论发展简史和现状通信系统的基木模型§1.1信息论的基本概念信息论是一门应用近代数理统计方法来研究信息的传输和处理的科学。在涉及这门课程的具体内容之前，很有必要在引言小，首先放宽视野，从一般意义上描述、阐明信息的基本含意。然后，再把眼光收缩到信息论的特定的研究范围中，指明信息论的假设前提，和解决问题的基本思路。这样，就有可能帮助读者，在学习、研究这门课程之前，建立起一个正确的思维方式，有一个正确的思路，以便深刻理解、准确把握以下各章节的具体内容。信息的一般含义白古

4、以來，人类就住活在信息的海洋zm。当今，人类越來越广泛地釆用“信息”这一词汇，几乎达到人人皆知的程度。那么，我们不禁耍问，“信息”到底是什么含义呢？从人们众多的应用中，我们大致可以从以下三个方面来理解“信息”的含义。（一）“信息”是作为通信的消息來理解的。在这种意义下，“信息”是人们在通信时所耍告诉对方的某种内容。（二）“信息”是作为运算的内容而明确起来的。在这种意义下,“信息”是人们进行运算和处理所需要的条件、内容和结果，并常常表现为数字、数据、图表和Illi线等形式。（三）“信息”是作为人类感知的来源而存在的。以上，我们从三个不同的侧

5、面叙述了信息的一些含意。显然，这还不是它的全部意义,只能作为对信息的一种初步的理解。信息的本质“信息是关于事物运动的状态和规律”。或者说，是关于事物运动的“知识”。通信是人类活动小最为普遍的现象z—,信息的传递与交换是时时处处都发生着的事情。在信息的传递与交换小，人们当然希望能够乂多、乂快、乂好、乂经济地传递信息。那么很B然地会出现这样一个问题：什么是信息传递的多快好省呢？怎样來衡量这种多快好省呢？怎样來判断某种通信方法的优劣呢？这就需要建立一种合理的定量描述信息传输过程的方法，首先是定量描述和度量信息的方法。1948年，美国一位数学家克

6、劳特•香农（C.E.Shannon）发表了一篇著名的论文《通信的数学理论》。差不多与此同时，美国另一位数学家诺们特•维纳也发表了题为《时间序列的内插、外推和平滑化》的论文以及题为《控制论》的专著。在这些著作中，他们分別解决了按“通信的消息”来理解的信息（狭义信息）的度量问题，并得到了相同的结果。香农的论文还给出了信息传输问题的一系列重要结果，建立了比较完整而系统的信息理论，这就是香农信息论，也叫狭义信息论（简称“信息论”）。香农信息理论具冇崭新的风貌，是通信科学发展史上的一个转折点，它使通信问题的研究从经验转变为科学。因此，它一出现就在科

7、学界引起了巨大的轰动，许多不同领域的科学工作者对它怀有浓厚的兴趣，并试图争和应用这一理论来解决各自领域的问题.从此,信息问题的研究，进入了一个新的纪元。香农信息理论的基本思路，大致町归结为以下三个基本观点：—、非决定论观点我们知道，在科学史上，直到20世纪初，拉普拉斯的决定论的观点始终处于统治的地位。这种观点认为，世界上一切事物的运动都严格地遵从一定的机械规律。因此，只要知道了它的原因，就可以唯一地决定它的结果；反过來，只要知道了它的结果，也就可以唯一地决定它的原因。或者，只要知道了某个事物的初始条件和运动规律，就可以唯一地确定它在各个时

8、刻的运动状态。这种观点只承认必然性，排斥、否认偶然性。根据通信问题研究对象的特点，信息理论按照非决定论的观点，采用了概率统计的方法，作为分析通信问题的数学工具，因而比以往的研究更切合实际、更科