信源—信道编码定理

《信源—信道编码定理》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章信道—信源编码定理通用通信系统其中：编码器包括信源编码和信道编码两个部分；译码器包括信道译码和信源译码两个部分；信道为有噪信道。信道编码给定信道输入符号集AX；给定信道输出符号集AY；对每个输入符号x，存在一个非负实数b(x)，为传输x的代价。定义n阶容量—代价函数：信道的容量—代价函数：信道编码定理（香农第二定理）：一般来说，抗干扰能与信息传输率二者相互矛盾。然而编码定理已从理论上证明，至少存在某种最佳的编码能够解决上述矛盾，做到既可靠又有效地传输信息。信源虽然多种多样，但无论是哪种类型的信源，信源符号之间总存在相关性和分布的不均匀性，使得信源存在冗余度。信源编码的目的就是要减少冗余

2、，提高编码效率。信源编码给定信源符号集AU；信宿符号集AV；失真测度d(u,v)；K阶率失真函数：信源的率失真函数：信源编码定理（香农第三定理）香农第三定理是一个存在定理，至于如何寻找这种最佳编码方法并没有给出，在实际应用中，存在一下两方面的问题：1、符合实际信源的R(D)函数的计算相当困难。1）需要对实际信源的统计特性有确切的描述2）需要对符合主客观实际的失真给予正确的描述3）即使满足了前两条，R(D)的计算也比较困难2、即使求得很好的R(D)函数，还需要研究采取何种编码方法才能达到极限值R(D)。例：要对此信源进行无失真编码，每个信源符号必须用一个二元符号来表示，信源的信息输出率为R=H

3、=1。若允许失真存在，并定义失真函数为汉明失真，即可以设想这样一种信源编码：无噪无损信道传输这种编码方法，可以看成是一种特殊的试验信道信息率为1/3，而平均失真为1/4，根据香农第三定理，若允许失真D=1/4时，总可以找到一种编码，使信息输出率达到极限R(1/4)信源—信道匹配当信源与信道相连接时，其信息传输率并未达到最大.希望能使信息传输率越大越好，能达到或尽可能接近于信道容量,信息传输率接近于信道容量只有在信源取最佳分布时才能实现。由此可见，当信道确定后，信道的信息传输率与信源分布是密切相关的。当达到信道容量时，我们称信源与信道达到匹配，否则认为信道有剩余。信道剩余度定义为：信道剩余度=

4、相对信道剩余度=表示信道的信道容量和实际传信率之差。相对信道剩余度可以用来衡量信道利用率的高低。在无损信道中，信道容量C＝logr(r是信道输入符号数)。而I(X;Y)＝H(X)，因而：无损信道的相对剩余度=上式说明提高无损信道信息传输率就等于减少信源的剩余度。对于无损信道，可以通过信源编码、减少信源的剩余度，使信息传输率达到信道容量。引入问题：在一般通信系统中，如何将信源发出的消息(符号)转换成适合信道传输的符号(信号)从而达到信源与信道的匹配。[例]某离散无记忆信源通过一个无噪无损二元离散信道进行传输。对二元离散信道的信道容量为：C＝1(比特／信道符号)对本信源的信息熵为H(X)＝1.9

5、37(比特／信源符号)要使信源在此二元信道中传输，必须对X进行二元编码：因此，必须通过合适的信源编码，使信道的信息传输率接近或等于信道容量。对于码(比特／信道符号)对于码(比特／信道符号)信道—信源编码定理从香农第一、第二定理可以看出，要做到有效和可靠的传输信息，我们可以将通信系统设计成两部分的组合，即信源编码和信道编码两部分，首先通过信源编码，用尽可能少的信道符号来表达信源，尽可能减少编码后信源的数据的剩余率，然后针对信道，对信源编码后的数据独立的进行信道编码，适当增加一些剩余度，使能纠正和克服信道中引起的错误和干扰。定理7.3（信息－传输定理）离散无记忆信源的S的信息率失真函数为R(D

6、)，离散无记忆信道的信道容量C，若满足R(D)