般单符号离散信道的信道容量

《般单符号离散信道的信道容量》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、4.2离散单个符号信道及其容量4.2.1离散单符号信道及其容量4.2.2离散无干扰信道4.2.3对称信道4.2.4准对称信道4.2.5一般离散信道的信道容量3.2离散单个符号信道及其容量信息传输率R：信道中平均每个符号所能传送的信息量信息传输速率Rt:信道在单位时间内平均传输的信息量。t为平均传送一个符号所需的时间。对于某特定的信道，转移概率p(bj

2、ai)已经确定，则互信息是关于输入符号分布概率的凸函数。也就是说可以找到某种概率分布p(ai)，使I(X;Y)达到最大，也即R达到最大，该最大值就是信道

3、所能传送的最大信息量，即信道容量。信道容量也可定义为信道的最大的信息传输速率Rt。【注】、一般地，我们只考虑第一种定义方式。说明：信道容量是信道本身的特性，与信源无关；不是所有的信源传输符号时都可以达到这个传输速率，使信道达到最大传输率的输入概率分布称为最佳输入分布；信道容量是信息传输率R的上限，定量了信道信息的最大通过能力。信道传递信息过程中引入两个定义：1、信道疑义度:H(X

4、Y)2、噪声熵:H(Y

5、X)1、信道疑义度这是收到后关于X的后验熵，表示收到后关于输入符号的信息测度这个条件熵称为信道疑义

6、度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，H(X

7、Y)=0,一般情括下H(X

8、Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。I(X;Y)=H(X)-H(X

9、Y)=H(Y)-H(Y

10、X)2、噪声熵平均互信息I(X;Y)表示信道传递的信息量。H(X

11、Y)即信到疑义度，也表示通过有噪信道造成的损失，故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y

12、X)表示已知输入的情况下，对输出端还残留的不确定性，这个

13、不确定性是由噪声引起的，故也称之为噪声熵。4.2.2无干扰离散信道无噪现象：1个输入只对应1个输出，噪声熵H(Y

14、X)=0无损现象：1个输出只对应1个输入，疑义度H(X

15、Y)=0无噪无损信道：即X、Y一一对应，则H(Y

16、X)=H(X

17、Y)=0有噪无损信道：一个输入X产生多个输出Y（有噪）,而且每个X值所对应的Y值不重合；又因为信道无损，接收到符号Y后，X完全确定。因为无损：H(X/Y)=0，有噪：H(Y/X)≠0所以：I(X;Y)=H(X)

18、X值不重合。接收到符号Y后不能完全消除对X的不确定性。H(X/Y)≠0；I(X;Y)=H(Y)

19、入对应多个输出，无损信道C＝maxI(X;Y)＝maxH(X)4.2.3对称DMC信道对称DMC信道定义输入对称转移概率矩阵P的每一行都是第一行的重新排列(包含同样元素)，称该矩阵是输入对称。输出对称转移概率矩阵P的每一列都是第一列的重新排列(包含同样元素)，称该矩阵是输出对称。对称的DMC信道输入、输出都对称。对称DMC信道例子接下来考虑对称信道的信道容量：因为输入对称所以条件熵与信道输入符号概率分布无关。则信道容量为又输出对称，若信道输入符号等概率分布，则与j无关，即信道输出也等概率分布；反之，若

20、信道输出符号等概率分布，对称信道的输入符号必定也是等概率分布的。因此要使H(Y)最大，只有信道输出符号等概率分布，此时输入符号也等概率分布。则对称DMC信道的容量为信道转移概率矩阵如下：信道输入符号和输出符号的个数相同，都为r，且正确传输概率为1－，错误概率被对称地均分给r-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例当n=2时，即为二进制对称信道C＝1－H（）=1-log-(1-)log(1-)4.2.4准对称DMC信道定义：如果转移矩阵P的列可以划分成若干个

21、互不相交的子集Bk，（即B1∩B2…∩Bk=；B1∪B2…∪Bk=P）且每个子集所组成的子阵都是输入输出对称矩阵，则称该信道是准对称DMC信道。要判断一个信道是否为离散准对称信道，必须对该信道的转移矩阵进行适当的调整，即按列重排再按列分块。这种调整，就是定义中所说的将转移矩阵的列划分成子集再组成子阵的过程。转移矩阵的列与输出符号对应，因此，把转移矩阵的列划分成互不相交的子集，也相当于把信道的输出符号集合中的符号划分成互不相交的子集。结论：对于准对称DM