限失真信源与信息率失真函数r(d)

《限失真信源与信息率失真函数r(d)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Chap4第四章限失真信源与信息率失真函数R(D)§4-1引言（一）引入限失真的必要性：1）失真在传输中是不可避免的;2）接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的;3）即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真；4）我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D，及其相应的信源最小信息率R(D).5）对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U).显然H(U)≥R(D).当且仅当D=0时，等号成立；6）为了

2、定量度量D，必须建立信源的客观失真度量，并与D建立定量关系；7）R(D)函数是限失真信源信息处理的理论基础；-28-Chap4（二）R(D)函数的定义1）信源与信宿联合空间上失真测度的定义：:其中：（单消息信源空间）（单消息信宿空间）则有称为统计平均失真，它在信号空间中可以看作一类“距离”，它有性质1〉,当2〉3〉对离散信源：i=j=1,2……..n,则有：若取为汉明距离，则有：-28-Chap4对连续信源，失真可用二元函数d(u,v)表示。则有：推而广之，d(u,v)可表示任何用v表达u时所引进的失真，误差，损失，风险，甚至是主观感觉上的差异等等。进一步定义允许失真D为平均失真的上界

3、：--对离散在讨论信息率失真函数时，考虑到信源与信宿之间有一个无失真信道，称它为试验信道，对离散信源可记为，对限失真信源这一试验信道集合可定义为：根据前面在互信息中已讨论过的性质：且互信息是的上凸函数，其极限值存在且为信道容量：这里，我们给出其对偶定义：即互信息是的下凸函数。其极限值存在且为信息率失真函数。它还存在下列等效定义：-28-Chap4称D(R)为失真信息率函数，是R(D)的逆函数，它是求在允许最大速率情况下的最大失真D。至此，我们已给定R(D)函数一个初步描述。由定义，R(D)函数是在限定失真为最大允许失真为D时信源最小信息速率，它是通过改变试验信道特性（实际上是信源编码）

4、来达到的。所以R(D)是表示不同D值时对应的理论上最小信息速率值。然而对于不同的实际信源，存在着不同类型的信源编码，即不同的试验信道特性并可以求解出不同的信息率失真R’(D)函数，它与理论上最佳的R(D)之间存在着差异，它反映了不同方式信源编码性能的优劣，这也正是R(D)函数的理论价值所在。特别对于连续信源，无失真是毫无意义的，这时R(D)函数具有更大的价值。例：若有一个离散、等概率单消息（或无记忆）二元信源：,-28-Chap4且采用汉明距离作为失真度量标准：即若有一具体信源编码方案为：N个码元中允许错一个码元，实现时N个码元仅送N-1个，剩下一个不送，在接收端用随机方式决定（为掷硬

5、币方式）。此时，速率R’及平均失真D相应为：若已知这一类信源理论上的（后面将进一步给出计算），则有阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。-28-Chap4§4-2R(D)函数的性质讨论R(D)性质以前先简要介绍R(D)的定义域。对离散：对应R(D)值：。对连续：R(D)函数性质可用下列定理总结：定理4－2－1：对离散、单个消息限定失真信源，其R(D)函数满足下列性质：（1）R(D)是D的下凸（）函数；（2）R(D)是D的单调非增函数；（3）R(D)是D的连续函数；（4）；证明

6、：（1）证明思路：根据R(D)函数定义，与下凸函数定义，只需证明：首先证，再利用互信息对的下凸性。即：若用与表示达到与时的条件分布，且则有：-28-Chap4这里，由可得再利用互信息对的下凸性，有（2）设则即R(D)是D的单调非增函数。（3）设。由定义，有。同时，由于是连续函数。即当有-28-Chap4即，R(D)是D的连续函数。（4）当，即无失真时，，一一对应§4-3离散信源R(D)函数计算：可见，求解R(D)实质上是求解互信息的条件极值，可采用拉氏乘子法求解。但是，在一般情况下只能求得用参量（R(D)的斜率S）来描述的参量表达式，并借助计算机进行迭代运算。由信道容量C与R(D)数学

7、上对偶关系：-28-Chap4其迭代运算与求信道容量迭代运算相仿的。在正式讨论R(D)迭代运算前，这里，我们先介绍特殊情况下的R(D)计算。具有等概率、对称失真信源的R(D)计算：例1：有一个二元等概率平稳无记忆信源U，且失真函数为：试求其R(D)=?解：由：为了运算方便，取上式中，已知：，D（允许失真）给定。-28-Chap4则一一对应。这时，由概率归一性，可进一步假设：可见：代入上述公式，有再将它代入转移概率公式中：由：，得：则：-28-C