信息率失真函数第4章1

《信息率失真函数第4章1》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息率失真函数第4章—1研究内容信息率与允许失真之间的关系问题：24.1平均失真和信息率失真函数4.2离散信源和连续信源的R(D)计算内容34.1平均失真和信息率失真函数44.1.1失真函数对任一，指定一个非负数失真度（函数）失真矩阵54.1.1失真函数常用的失真函数：64.1.1失真函数汉明失真对于二元对称信源(m=n)，X={0,1}，Y={0,1}，汉明失真矩阵:7设信源符号序列为X={0,1}，接收端收到符号序列为Y={0,1,2}，规定失真函数为d(0,0)＝d(1,1)=0d(0,1)＝d(1,0)=1d(0,2)＝d(1,2)=0.5求失真矩阵

2、？例4-1:8失真函数形式可以根据需要任意选取，如:均方失真:绝对失真:相对失真:误码失真:4.1.1失真函数94.1.2平均失真xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量,限失真时的失真值只能用数学期望表示将失真函数的数学期望称为平均失真：失真函数d(xi,yj)：描述了某个信源符号通过传输后失真的大小平均失真：描述某个信源在某一试验信道传输下的失真大小，它对信源和信道进行了统计平均，是从总体上描述整个系统的失真104.1.3信息率失真函数R(D)无论是无噪信道还是有噪信道:R＜C总能找到一种编码使在信道上能以任意小的错误概率,以任意

3、接近C的传输率来传送信息R＞C就必须对信源压缩，使其压缩后信息传输率R’小于信道容量C，但同时要保证压缩所引入的失真不超过预先规定的限度。信息压缩问题就是对于给定的信源，在满足平均失真的前提下,使信息率尽可能小。11若平均失真度不大于我们所允许的失真，即则称此为保真度准则当信源p(xi)给定，单个符号失真度d(xi,yj)给定时,选择不同的试验信道p(yj

4、xi)，相当于不同的编码方法，其所得的平均失真度不同。试验信道4.1.3信息率失真函数R(D)12满足条件的所有转移概率分布pij，构成了一个信道集合D失真允许的试验信道：满足保真度准则的试验信道。PD：

5、所有D失真允许的试验信道组成的一个集合。4.1.3信息率失真函数R(D)13R(D)：在限定失真为D的条件下信源输出的最小信息速率。在信源给定后，我们希望在满足一定失真的情况下，使信源必须传输给收信者的信息传输率R尽可能地小。若从接收端来着，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。即在满足保真度准则的条件下寻找平均互信息I(X,Y)的最小值。4.1.3信息率失真函数R(D)14PD是所有满足保真度准则的试验信道集合，因而可以在集合PD中寻找某一个信道pij，使I(X,Y)取极小值。离散无记忆信源4.1.3信息率失真函数R(D)15

6、已知编码器输入的概率分布为p(x)={0.5,0.5}信道矩阵求互信息？例4-2:16编码器输入的概率分布为p(x)={0.5,0.5}信道矩阵求互信息？可见当p(x)一定时，I(X,Y)随p(yj

7、xi)而变。因为p(x)分布一定时，信道受干扰不同所能传递的信息量是不同的。当p(x)一定时,I(X,Y)是关于p(yj

8、xi)的下凸函数。因此当改变p(yj

9、xi)时，I(X,Y)有一极小值。例4-3:17对比——信道容量和信息率失真函数18平均互信息平均互信息I(X;Y)：信源的概率分布p(xi)的上凸函数。信道传递概率p(yj

10、xi)的下凸函数。信道容量：

11、信息率失真函数：19信道容量信道容量：假定信道固定的前提下，选择一种试验信源使信息传输率最大。它所反映的是信道传输信息的能力，是信道可靠传送的最大信息传输率。一旦找到了信道容量，它就与信源不再有关,而是信道特性的参量，随信道特性的变化而变化。不同的信道其信道容量不同。20信息率失真函数信息率失真函数：假定信源给定的情况下，用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。它反映的是信源可以压缩的程度，是在满足一定失真度要求下信源可压缩的最低值。率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量不同的信源其R(D)不同

12、。21研究内容研究信道容量：充分利用已给信道，使传输的信息量最大,而发生错误的概率任意小。研究信息率失真函数：解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。22设信源的符号表为A={al,a2,…,a2n}，概率分布为p(ai)=1/2n，i=1,2…2n，失真函数规定为信源熵如果对信源进行不失真编码，平均每个符号至少需要log2n个二进制码元。即不发生差错时失真为0，出错失真为1研究在一定编码条件下信息压缩的程度？例4-4:23现在假定允许有一定失真,假设失真限

13、度为D=1/2设想采用下面的编码方案：a1→a1，a