6.1 信息率失真函数

《6.1 信息率失真函数》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第六章信息率失真函数§6.2离散信源的率失真函数的计算§6.1基本概念与性质§6.3连续信源的率失真函数§6.1基本概念与性质一、引言二、失真编码与实验信道三、失真度与失真矩阵四、平均互信息量的性质五、率失真函数六、率失真函数的性质一、引言失真。前面所介绍的有效性信源编码和可靠性信道编码，都属人类所发出的声音信号的频率范围约为20Hz～8000Hz，自然界的色彩极其丰富，即使是一幅灰度图像(俗称黑白于无失真编码。图像)，其灰度也是连续变化的，灰度，则对于人的视觉已经几乎没有任何影响。但实际上只需保留300Hz～3400Hz的声音信号，则对于人的听觉已经几乎没有任何影响。但是在实际

2、信息处理中，往往允许有一定的事实上，人们的视觉和听觉都允许有一定的失真。但实际上只需用256级一、引言仅从理论上讨论在失真度给定的条件下，可以达到需要探讨的问题在允许失真的条件下或者说使信源的信息量最小；或者说使信源的熵速率最小。本章探讨的内容用最小的比特(bit)描述信源；的最小信息量。不涉及如何具体进行失真编码。二、失真编码与实验信道1.失真编码引例设信源可发出四个独立且等概的消息01001011无失真编码则信息量(信源熵):编码信息量(接收熵):失真将导致信息量降低失真01(?)二、失真编码与实验信道1.失真编码编码前的消息失真编码器编码后的消息一般地，有(离散信源)(连续

3、信源)或下面的讨论将以离散信源的情况为主。二、失真编码与实验信道2.实验信道从而可以借助前面的信道传输理论来研究失真编码问题。输入X输出Y有噪实验信道将编码前的消息看作输入，编码后的消息看作输出；将失真编码器看作为一个假想的有噪实验信道。则失真编码过程就变为信道传递过程，即(3)因此首先必须给出一种对于失真度的定量描述，并3.问题描述(1)失真编码的目标是使得编码后所需要的信息传输率尽可能小；(2)信息传输率越小，引起的失真就越大。分析传输率降为零，则完全失真，从而失去意义。根据实际要求设定相应的失真限制值。但如果信息(4)在满足失真限制值的条件下，找到一种编码方法使信息传输率尽

4、可能小。二、失真编码与实验信道二、失真编码与实验信道3.问题描述问题已知信源的先验概率，下，求实验信道的转移概率，使得信道的接收熵速率R最小。使平均互信息量最小。求转移概率，问题变为由于是实验信道，因此可不妨设信道每秒传输的符号个数为则有接收熵速率在给定的失真度限制条件三、失真度与失真矩阵1.失真度定义信源经实验信道传输(或失真编码)后得到，定义一个非负函数，即称之为单个消息符号之间的失真度(或者失真函数)。在实际问题中，失真度(或者失真函数)的选取是一个注意相当复杂的研究课题。问题的客观风险评价、损失评价；人们的主观感觉；等等。对每一对消息符号它涉及：三、失真度与失真矩阵1.失

5、真度例设则“可以”定义失真度为：常用的失真度均方失真绝对失真相对失真三、失真度与失真矩阵1.失真度误码失真其它.三、失真度与失真矩阵2.失真矩阵定义记称矩阵H为失真矩阵。称矩阵H为汉明失真矩阵。特别地，若且三、失真度与失真矩阵3.平均失真度定义失真度的数学期望称为平均失真度，记为即平均失真度反映的是整个信源编码后的失真情况。四、平均互信息量的性质1.平均互信息量(回顾)输入输出实验信道简记为各种概率：四、平均互信息量的性质1.平均互信息量(回顾)平均互信息量四、平均互信息量的性质2.平均互信息量与转移概率的函数关系由于因此，当已知时，是转移概率的函数。即记为四、平均互信息量的性质

6、3.平均互信息量的性质性质1是关于的(下)凸函数，且其中，为某个实验信道的转移概率，为另一个实验信道的转移概率，性质2是关于的元连续函数。(略)证明即是关于的(下)凸函数。性质2证明(1)由于分别为某两个实验信道的记故也为某实验信道的转移概率。则转移概率，因此有(2)从而得到三个实验信道，它们的有关概率如下：证明第一个信道第二个信道第三个信道由于有因此，由其中性质2是关于的(下)凸函数。证明记为(3)记则性质2是关于的(下)凸函数。证明(4)由有性质2是关于的(下)凸函数。(4)证明由于为上凸函数，且故有同理即证。性质2是关于的(下)凸函数。五、率失真函数1.保真度准则称此为保真

7、度准则。定义若平均失真度不大于允许的失真值D，即2.D允许试验信道定义给定,这种信道称为D允许试验信道。若信源概率、失真度以及允许的失真值D选择信道,使其满足保真度准则,凡满足要求的若平均失真度不大于允许的失真值D，即五、率失真函数1.保真度准则称此为保真度准则。定义2.D允许试验信道一般说来，D允许试验信道不是唯一的，这些信道的转移概率的集合记为，其中即五、率失真函数3.(信息)率失真函数对于任意给定的失真值D，定义(或者说在集合中)存在着某个信道的转移概率，则该最小值称为在保