[理学]信息论与编码-第4章

《[理学]信息论与编码-第4章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第4章信息率失真函数本章主要讨论在信源允许一定失真情况下所需的最少信息率；从分析失真函数、平均失真出发，求出信息率失真函数R(D)4.1平均失真和信息率失真函数4.2离散信源和连续信源的R(D)计算4.1平均失真和信息率失真函数在实际问题中，信号有一定的失真是可以容忍的;但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值;要规定失真限度，必须先有一个定量的失真测度;为此可引入失真函数4.1.1失真函数假如某一信源X，输出样值为xi，xi{a1,…an}，经过有失真的信源编码器，输出Y，样值为yj，yj{b1,…bm}如果xi＝yj，则认为没有失真；如果xiyj，那么就

2、产生了失真失真的大小，用一个非负量来表示，即失真函数d(xi,yj)，以衡量用yj代替xi所引起的失真程度一般失真函数定义式为4.1.1失真函数失真矩阵单个符号的失真函数的全体排列起来构成的矩阵，称为失真矩阵注意：失真函数d(xi,yj)的数值是依据实际情况,用yj代替xi所导致的失真大小是人为决定的均方失真：相对失真：误码失真：绝对失真：前三种失真函数适用于连续信源，后一种适用于离散信源最常用的失真函数4.1.1失真函数失真函数的定义可以推广到序列编码情况如果假定离散信源输出符号序列X=(X1X2…Xl…XL)，其中L长符号序列样值xi＝(xi1xi2…xil…xiL)，经信源编码后，输

3、出符号序列Y=(Y1Y2…Yl…YL)，其中L长符号序列样值yj＝(yj1yj2…yjl…yjL)，则序列失真函数定义为：其中d(xil，yjl)是信源输出L长符号样值xi中的第l个符号xil时，编码输出L长符号样值yj中的第l个符号yjl的失真函数。4.1.1失真函数4.1.2平均失真由于xi和yj都是随机变量，所以失真函数d(xi,yj)也是随机变量，考察整个信源有失真编码状况，需要用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真，记为符号转移概率分布信源编码器对于连续随机变量同样可以定义平均失真对于L长序列编码情况，平均失真为4.1.2平均失真其中pX,Y(x,y)是

4、连续随机变量的联合概率密度其中是第l个符号的平均失真4.1.3信息率失真函数R(D)信源编码器XY假想信道信源X经过有失真的信源编码器将信源编码器输出Y，将这样的编码器看作存在干扰的假想信道4.1.3信息率失真函数R(D)信源编码器的目的：使编码后所需的信息传输率R尽量小；然而R越小，引起的平均失真就越大；信息率R就是所需输出的有关信源X的信息量；对应到假想信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)；这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(yj/xi)就对应信道转移概率给出一个失真的限制值D，在满足平均失真（保真度准则）的条件下，选

5、择一种编码方法使信息率R尽可能小；4.1.3信息率失真函数R(D)D允许试验信道此信道集合称为D允许试验信道平均失真由信源分布p(xi)、假想信道的转移概率p(yj/xi)和失真函数d(xi,yj)决定，若p(xi)和d(xi,yj)已定，则可给出满足条件的所有转移概率分布pij，它们构成了一个信道集合PD4.1.3信息率失真函数R(D)由于互信息取决于信源分布和信道转移概率分布，根据2-2节所述，当p(xi)一定时，互信息I(X;Y)是关于p(yj/xi)的U型凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X;Y)

6、达到最小。该最小的互信息就称为信息率失真函数R(D)，即信息率失真函数R(D)的物理意义：对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许减小到（压缩）的最小值R(D)信息率失真函数R(D)4.1.3信息率失真函数R(D)p(ai)，i＝1，2，…，n是信源符号概率分布；p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m是转移概率分布；p(bj)，j＝1，2，…，m是接收端收到符号概率分布。对于离散无记忆信源，R(D)函数可写成例4.1(p.74)设信源的符号表为A＝{a1，a2，…，a2n}，概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规定为即符号不发

7、生差错时失真为0，一旦出错，失真为1，试研究在一定编码条件下信息压缩的程度4.1.3信息率失真函数R(D)4.1.3信息率失真函数R(D)解：信源熵设失真限度D=1/2等效试验信道为一个确定信道则信道输出概率分布为则输出熵为平均失真应为4.1.4信息率失真函数的性质R(D)函数的定义域⑴Dmin和R(Dmin)Dmin＝0对于离散信源对于连续信源(2)Dmax和R(Dmax)选择所有满足R(D)＝0中D的最小值，定义为R