信息论与编码纠错第4章

《信息论与编码纠错第4章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第4章离散信道的信道容量内容提要信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究信道，研究在信道中传输的每个符号所携带的信息量，并给出信道容量的定义和计算方法。§4.1信道容量的定义一．信息传输率平均互信息量H(X)：信道输入方关于发送符号集X中的某个消息的平均不确定性；H(X/Y)：信道输出方接收到符号集Y后对X发送消息仍存在的平均不确定性；I(X;Y)：为通信过程中获得的信息

2、量，也就是平均每个码元所携带的信息量。对于单符号传输情况，信息传输率为：二．信道容量信息传输率是衡量通信质量的一个重要指标，由前面的定理知：对于固定信道，总存在某种输入概率分布p(x)，使I（X;Y）达到最大值，定义这个最大值为信道容量，记为C。使I（X;Y）达到信道容量的分布p(x)为最佳分布。信道容量C就是在保证可靠通信的前提下，信道所能容纳的最大信息传输量。对于固定信道，信道容量C是一个固定值；对于不同信道，C不同，信道容量C是信道转移概率p(y/x)的函数。§4.2离散无记忆信道容量的计算一．离散无

3、记忆信道的容量如果信道输入的是N维序列XN，其概率分布为P（XN），输出的是N维序列YN，则平均互信息量记为I（XN；YN），此时N维信道容量定义为：下面一条定理给出了一维信道和N维信道的信道容量之间的关系。定理：如果信道是离散无记忆（DMC）的，则CNNC，其中C是同一信道传输单符号时的信道容量。证明：对于DMC信道，由定理2.4（若信道离散无记忆，则信道输入、输出符号序列间的平均互信息量I（XN；YN）小于等于各单个符号间平均互信息量的总和）（1）若输入的N个符号统计独立，即信源离散无记忆,根据[定理

4、2.3]有：（信源无记忆，则信道输入、输出符号序列间的平均互信息量I（XN；YN）大于等于各单个符号间平均互信息量的总和）（2）对每个i，输入分布p(xi)可使I(Xi;Yi)达到信道容量C，则：则：综上，在信源和信道都离散无记忆的情况下，有CN＝NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。二．达到信道容量的充要条件定理：使平均互信息量I（X;Y）达到信道容量C的充要条件是信道输入概率分布简记为p(X)={p(x1),p(x2),…,p(xM)}满足：说明：定理只给出了使平均互信息

5、量达到信道容量的充要条件，并没有给出求信道容量及信道输入概率分布的显式，它只能用来求解一些特殊情况的信道容量。下面介绍几种特殊信道信道容量的求解。对于特殊信道，信道的输入X和输出Y之间有着确定的关系，一般有三类：有噪无损信道、无噪确定信道和无噪无损信道。【例】有噪无损信道无损信道的输入符号集元素个数小于输出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图所示，信道输入符号集X={x1,x2,x3}，输出符号集Y={y1,y2,y3,y4,y5,y6}，其信道转移概率矩阵记为P，计算该信道的信道容

6、量。【解】1．先考察平均互信息量I（X;Y）=H（X）-H（X/Y），在无噪信道条件下，H（X/Y）=0，则平均互信息量I（X;Y）=H（X）。2．根据定义计算信道容量C从上式可看出，求信道容量C的问题转化为寻找某种分布p(x)使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布p(x1)=p(x2)=p(x3)=1/3时，熵值达到最大，即有3.根据平均互信息量I（X;Y）达到信道容量的充要条件式对C进行验证：先根据计算出p(yj)（j=1，2，3，4，5，6）再计算出：上面三式均满足平均互信

7、息量达到信道容量C的充要条件，故C=log3。【例】无噪确定信道确定信道的输入符号集的元素个数大于输出符号集的个数，信道的一个输出对应多某个个互不交叉的输入，这时输入符号以确定的概率1指向某个输出符号，如图所示。信道输入符号集X＝{x1,x2,x3,x4,x5}，输出符号集Y＝{y1,y2}，其信道转移概率矩阵记为P，计算该信道的容量。【解】1．先考察平均互信息量I（X;Y）=H（Y）-H（Y/X），对于确定信道，H（Y/X）=0，则平均互信息量I（X;Y）=H（Y）2．根据定义计算信道容量C由于，由于信道

8、转移概率是确定的，求使H(Y)达到最大值的p(x)的最佳分布就转化为求p(y)的最佳分布。由极大离散熵定理知，在p(y)等概率分布时，H(Y)达到最大，则3.根据平均互信息量I（X;Y）达到信道容量的充要条件式对C进行验证：上面的式子均满足平均互信息量达到信道容量C的充要条件，故C=log2。【例】无噪无损信道无损确定信道的输入符号集的元素个数等于输出符号集的个数，且信道的输入符号以确定概率1指向某个固定的输出符