应用信息论第12讲率失真函数.ppt

《应用信息论第12讲率失真函数.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、4.1基本概念4.2离散信源的信息率失真函数4.3连续信源的信息率失真函数4.4信息率失真函数与信息价值4.5信道容量与信息率失真函数的比较4.6保真度准则下的信源编码定理4.7信息论“三大定理”总结第四章信息率失真函数28-Jul-211平均失真度离散随机变量X：N维离散随机序列：信息率失真函数离散信息X：概率分布为P(X)，失真度为d(xi,yj)小结28-Jul-212信息率失真函数的性质定义域(Dmin,Dmax)：Dmin是最小允许失真度，Dmax是最大允许失真度下凸性单调递减和连续性小结28-Jul-2134.2离散信源的信息率失真函数对离散信源，求R(D)与求C类似

2、，是一个在有约束条件下求平均互信息极值问题，只是约束条件不同；C是求平均互信息的条件极大值，R(D)是求平均互信息的条件极小值。4.2.1离散信源信息率失真函数的参量表达式4.2.2二元及等概率离散信源的信息率失真函数28-Jul-2144.2.1离散信源率失真函数的参量表达式(1)求极小值方法用拉格朗日乘数法原则上可以求出最小值，但是要得到它的显式一般是很困难的，通常只能求出信息率失真函数的参量表达式。已知信源概率分布函数p(xi)和失真度d(xi,yj)，在满足保真度准则的条件下，在试验信道集合PD当中选择p(yj/xi)，使平均互信息4.2离散信源的信息率失真函数28-Ju

3、l-215(2)离散信源的信息率失真函数已知平均互信息在(4.2.5)的(n+1)个条件限制下求I(X;Y)的极值，引入拉格朗日乘数S和μi(i=1,2,…,n)，构造一个新函数4.2离散信源的信息率失真函数4.2.1离散信源率失真函数的参量表达式28-Jul-2164.2.1离散信源率失真函数的参量表达式4.2离散信源的信息率失真函数28-Jul-2174.2.1离散信源率失真函数的参量表达式4.2离散信源的信息率失真函数28-Jul-2184.2.1离散信源率失真函数的参量表达式4.2离散信源的信息率失真函数28-Jul-219第一步：求λi4.2.1离散信源率失真函数的参量

4、表达式4.2离散信源的信息率失真函数28-Jul-21104.2.1离散信源率失真函数的参量表达式第二步：求p(yj)第三步：求p(yj/xi)将解出的λi和求p(yj)代入式(4.2.10)，可求得mn个以S为参量的p(yj/xi)。4.2离散信源的信息率失真函数28-Jul-2111第四步：求D(S)将这mn个p(yj/xi)代入(4.2.5)得到以S为参量的允许平均失真函数D(S)。4.2.1离散信源率失真函数的参量表达式4.2离散信源的信息率失真函数28-Jul-2112第五步：求R(S)将这mn个p(yj/xi)代入(4.2.4)得到以S为参量的率失真函数R(S)。4.

5、2.1离散信源率失真函数的参量表达式4.2离散信源的信息率失真函数28-Jul-2113第六步：选择使p(yj)非负的所有S，得到D和R值，可以画出R(D)曲线，如图4.2.1。4.2.1离散信源率失真函数的参量表达式4.2离散信源的信息率失真函数28-Jul-21144.2.1离散信源率失真函数的参量表达式(3)参量S的说明可以证明S就是R(D)函数的斜率。斜率S必然负值；S是D的递增函数，D从0变到Dmax，S将逐渐增加；当D=0时(R(D)的斜率)：S的最小值趋于负无穷。4.2离散信源的信息率失真函数28-Jul-21154.2.1离散信源率失真函数的参量表达式当D=Dma

6、x时：S达到最大；这个最大值也是某一个负值，最大是0。当D>Dmax时：在D=Dmax处，除某些特例外，S将从某一个负值跳到0，S在此点不连续。在D的定义域[0,Dmax]内，除某些特例外，S将是D的连续函数。4.2离散信源的信息率失真函数28-Jul-2116(1)二元离散信源的率失真函数设二元信源计算率失真函数R(D)4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数28-Jul-2117先求出Dmax4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数28-Jul-2118第一步：求λi，由式(4.2.12)有4.2.2二元

7、及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数28-Jul-2119第二步：求p(yj)，由式(4.2.11)有4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数28-Jul-2120第三步：求p(yj/xi)，由式(4.2.10)有4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数28-Jul-2121第四步：求D(S)，将上述结果代入式(4.2.14)有4.2.2二元及等概率离散信源的信息率失真函数4.2离散