信息论与编码基础绪论

《信息论与编码基础绪论》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码基础绪论•信息与编码•编码的分类与作用•信息论与编码技术的发展及应用•授课内容•要求及评分标准§1信息与编码1什么是信息？信息是消息中有意义的那一部分内容2消息、信息与信号的关系信息蕴涵于消息之中，信号是消息的表现形式编码：是为了提高通信或计算机存储系统的有效性、可靠性或安全性（或其他目的）对消息进行的某种变换。信息论：研究信息及其度量、信道容量、编码所能达到的理论极限等内容的学科，又称为通信的数学理论，对通信具有重大的指导作用。信息的概念信息是信息论中最基本、最重要的概念，既抽象又复

2、杂信息在日常生活中被认为是“消息”、“知识”、“情报”等“信息”不同于消息（在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义），消息是表现形式，信息是实质；“信息”不同于情报，情报的含义比“信息”窄的多，一般只限于特殊的领域，是一类特殊的信息；信息不同于信号，信号是承载消息的物理量；信息不同于知识，知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息。消息：用文字等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维

3、活动的状态表达出来。知识：一种具有普遍和概括性质的高层次的信息，以实践为基础，通过抽象思维，对客观事物规律性的概括。情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识。它们之间有着密切联系但不等同，信息的含义更深刻、广泛就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理

4、信号的进一步数学抽象，可将具体物理信号抽象为两大类型：离散(数字)消息，一组未知量，可用随机序列来描述：X=(X1…Xi…Xn)连续(模拟)消息，未知量，它可用随机过程来描述：X(t,ω)信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。信息、消息和信号是既有区别又有联系的三个不同的概念。消息中包含信息，是信息的载体。信号携带着消息，它是消息的运载工具。信息可认为是由具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。而信号则是抽象信息在物理层表达的外延；消息则是

5、抽象信息在数学层表达的外延。同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描述。同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断与通、低与高(电平)等等。什么是信息关于信息的科学定义，到目前为止，国内外已有不下百余种流行的说法，它们都是从不同的侧面和不同的层次来揭示信息的本质的。1928年，哈特莱(R．V．LHartley)在《信息传输》一文中提出：发信者所发出的信息，就是他在通信符号表中选择符

6、号的具体方式局限性：定义不涉及到信息的价值和具体内容，只考虑选择的方式。即使考虑选择的方法，但没有考虑各种可能选择方法的统计特性。1948年，维纳(N．Wiener)在《控制论--动物和机器中通信与控制问题》一书中，指出：“信息是信息，不是物质，也不是能量”。将“信息”上升到“最基本概念”的位置。后来，维纳在《人有人的用处》一书中提出：“信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容的名称。”局限性：把信息与物质、能量混同起来。所以，维纳关于信息的定义是

7、不确切的。1948年，香农（C.E.Shannon）发表了一篇著名的论文，“通信的数学理论”。他从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。信息是事物运动状态或存在方式的不确定性的描述。相结合逐步发展而形成的一门新兴科学奠基人：美国数学家香农（C.E.Shannon）1948年“通信的数学理论”信息论通信技术概率论随机过程数理统计对信息论的研究内容一般有以下三种理解。狭义信息论（经典信息论）：主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信

8、息论的基础理论，又称为香农信息论。一般信息论（通信理论）：主要是研究信息传输和处理问题，除了香农理论外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论以及信息处理理论等。广义信息论：广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、语言学等等。信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的学科。它的主要目的是提高信息系统的可靠性、有效性、保密性和认证性