无线信道中的信源信道联合编码研究

《无线信道中的信源信道联合编码研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、无线信道中的信源信道联合编码的研究第二章编码理论基础要设计一个有效的信源信道联合编码系统，就需要对两个基本的研究领域进行详细的研究分析：信源编码、信道编码。因此，本章在介绍信源信道联合编码的思想及方法之前，先介绍与此相关的背景知识。我们从深入探究香农信源、信道编码定理入手，分析信源信道联合编码设计的可行性和方法论【6】o2．1传统信息论的编码理论知识这里只简要介绍香农信息论的基础知识。更详细的信息论知识可以参考文献[7】-[9】。2．1．1信源编码理论信源就是信息的来源，我们在这里只讨论离散信源。离散信源可以用随机变量x={五，扛1，2，

2、．．．}来描述，其中每个随机变量五均取值于某个集合z={xl，而，．．．，‰)中，z称为信源字符集(或消息集)，其中元素个数用M表示，通常总是假定M<00，也就是说，只限于考虑有限离散信源。特别地，若各随机变量置独立同分布时，则称之为离散无记忆信源(DMS，DiscreteMemorylessSource)；若信源先后发出的符号之间是相互依赖的，当符号之间的记忆长度为m+1时，这种有记忆信源就称为m阶马尔可夫信源。也就是信源每次发出的符号只与前m个符号有关，与更前面的符号无关。考虑一个离散无记忆信源中产生的一个随机变量x，其取值于有限字符

3、集z={xl,x29etoj‰}，且该字符集具有概率公共分布函数n={Pl，仍，．．．，‰)。那么，一个信源采样的平均信息量，称之为信源的熵，被定义为：H(x)---Epz(x)1。g：nO)--e2"[一109：巩(x)](2．1)JEZ信源编码的目的就是要用二进制数字有效地表示信源采样。通常意义上说，“有效地”意味着尽可能使用最少的平均比特数。香农的无失真信源编码理论指出，存在这样的一个二进制分组码，其平均码长大5无线信道中的信源信道联合编码的研究第二章编码理论基础于nH(X1，从而当EL—00时，可以用该分组码精确地编码表示，2个独

4、立同分布的随机变量x。相反地，任何平均码长小于刀日(x)的分组码都几乎一定会导致信息损失。换句话说，日(石)表示采用码长为任意长的分组码编码信源z中的单个字符而不会导致失真所需的最小平均比特数(在任意小的占≥0范围内)。“无失真"意味着编码后的符号可以从相应的编码码字中精确地恢复出来，这就是无损压缩编码。Huffman编码和算术编码算法就是典型的无损压缩编码。然而，在多数实际应用中，特别是对图像和视频信源，往往会面对着大量的消息需要处理，这时这些算法的压缩效率(典型的是2倍或3倍)就远远不够了。并且，如果要求恢复信息的全部细节，这在实际上

5、是不可能的，而且有时也没有这个必要。对于语音、图像等信源来说，可以根据人的听觉和视觉特性(人耳能接受的带宽和分辨率是有限的，人眼也有一定的主观视觉特性)，只需恢复出足够的“代表信息"就可以了。于是我们可以通过编码压缩丢掉一定的信息，再通过解码近似地恢复原始信息。但是这样恢复出来的信息跟原信息就不是完全相同，也即引入了失真，这就是有损压缩技术。令随机变量y表示信源信息J的重建信息，其取值于一个有限集合j：，={M，此，．．．，YJcx)。那么随机变量x和】，的联畲概率密度函数为Pxr(z，Y)，而令办Ⅸ(ylx)=肋(z，Y)／Px(x)表

6、示在给定x下】，的条件概率密度函数。同样，令gy(Y)表示y的边缘分布，并令日(】，)表示】，的熵。在给定x下，】，的条件熵定义为：H(rlⅨ)=一∑Pxr(x，y)log：q，，Ⅸ(ylx)(2．2)JEZ，yEy随机变量】，的熵日(】，)与其给定x下的条件熵日(】，IX)的差称为平均互信息：，(x；】，)=日(】，)一日(】，l≯)=日(x)一日(xly)(2．3)，(x；】，)代表给定x后，从x平均每个符号中可获得的关于】，的信息量，上式表明从Z中获得的关于】，的信息量与从】，中获得的关于X的信息量是相等的，也即，X和】，中包含有共

7、同的信息，因此叫做互信息。平均互信息与各类熵的关系为：，(z；】，)=日(】，)一日(】，Ix)=日(x)一日(x}】，)=日(x)+日(】，)一日(朋)(2．4)其中日(．糟)称为联合熵。6无线信道中的信源信道联合编码的研究第二章编码理论基础在信源给定时，我们总希望在不超过给定的失真限度D的条件下，使信源X必须传输给信宿的信息传输率R尽能地小。那么尺的下限是多少呢?香农提出的信息率失真函数尺(D)给出了该问题的答案。R(D)就是在满足失真限度D的条件下，信源x必须传输的最小平均信息量。类似地，失真率函数D(R1定义为，在满足给定码率限制

8、R的条件下，所有编码方法所引入的失真的下限。一个离散无记忆信源的R(D)函数等于：R(D)2栅艇SE∞，(x；】，)(2·5)、7帆·M自kD、。7然而，在闭势中，R(D)和D(R)函数很难得