信息率与编码3-1.ppt

《信息率与编码3-1.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第三章信道容量信道容量的概念特殊信道的信道容量对称信道的信道容量准对称信道的信道容量非对称信道的信道容量多符号离散信道§3.1信道的数学模型和分类信道传输信息的能力→信道容量一、信道的数学模型设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y。规定一个离散信道应有三个参数：输入符号集：X={x1，x2，…，xn}输出符号集：Y={y1，y2，…，ym}信道转移概率：P(Y/X)={p(y1/x1),p(y2/x1),…p(ym/x1),……p(ym/xn)}P(Y/X)XYN§3.1信道的数学模型和分类二、信道的分类（自阅）§3.2

2、单符号离散信道的信道容量一、信道的表示法⒈信道的矩阵表示法一般简单的单符号离散信道的数学模型可以用概率空间[X,p(y

3、x),Y]来描述。其中，每一行表示一个输入xi;行矢之和为1。每一列表示一个输出yj§3.2单符号离散信道的信道容量⒉信道的图示法用于输入，输出符号较少的场合。如：二元信道0101§3.2单符号离散信道的信道容量⒊信息传输率（信息率）信息传输率R：信道中平均每个符号所传送的信息量。平均互信息I(X;Y)是接收到符号Y后平均获得的关于X的信息量。所以R=I（X;Y）bit/符号设平均传输一个符号需要t秒，则信道每秒钟平均传输

4、的信息量为信息传输速率：§3.2单符号离散信道的信道容量⒋信道容量由于平均互信息量I(X;Y)是信源概率分布P(X)的型凸函数，所以对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。信源与信道匹配最佳分布§3.2单符号离散信道的信道容量二、几种特殊离散信道的信道容量⒈离散无噪信道的信道容量特点：输入与输出之间具有一一对应的关系。信道容量：C=lognbit/信道符号n为信道的输入符号数。最佳分布：输入为均匀分布。⒉具有扩展性能的无噪信道特点：一个输入对应多个互不相交的输出。信道容量：C=l

5、ognbit/信道符号n为信道的输入符号数。最佳分布：输入为均匀分布。⒊具有归并性能的无噪信道特点：一个输出对应多个互不相交的输入。信道容量：C=logmbit/信道符号m为信道的输出符号数。最佳分布：使输出为均匀分布的输入分布。3.2.1无干扰离散信道（1）n=m具有一一对应关系的无噪信道——一对一，无噪无损信道信道矩阵——单位阵：元素为0、1损失熵H(X/Y)=0噪声熵H(Y/X)=0互信息I(X;Y)=H(X)=H(Y)x1x2x3xny1y2y3yn………H(X)I(X;Y)H(Y)（2）n＞m具有归并性的无噪信道——多对一，无噪有

6、损信道信道矩阵——每行只有一个非0元元素为0、1损失熵H(X/Y)≠0噪声熵H(Y/X)=0H(X)＞H(Y)输入分布非唯一y1y2y3x1x2x3x4x5H(X)I(X;Y)H(Y)H(X/Y)注意：不是这种情况因为信道矩阵不满足——每行只有一个非0元素元素为0、1本质：有噪信道（3）n＜m具有扩展性的无噪信道——一对多，有噪无损信道信道矩阵——每列只有一个非0元素,元素不全是0、1损失熵H(X/Y)=0噪声熵H(Y/X)≠0H(X)＜H(Y)x1x2x3y1y2y3y4y5H(X)I(X;Y)H(Y)H(Y/X)§3.2单符号离散信道的

7、信道容量二、几种特殊离散信道的信道容量⒈离散无噪信道的信道容量特点：输入与输出之间具有一一对应的关系。信道容量：C=lognbit/信道符号n为信道的输入符号数。最佳分布：输入为均匀分布。⒉具有扩展性能的无噪信道特点：一个输入对应多个互不相交的输出。信道容量：C=lognbit/信道符号n为信道的输入符号数。最佳分布：输入为均匀分布。⒊具有归并性能的无噪信道特点：一个输出对应多个互不相交的输入。信道容量：C=logmbit/信道符号m为信道的输出符号数。最佳分布：使输出为均匀分布的输入分布。§3.2单符号离散信道的信道容量三、对称信道的信道

8、容量⒈对称信道的信道容量⑴对称信道的定义关于行可排列的若信道转移阵的每一行都是同一集合Q∈{q1,q2,…qm}中诸元素的不同排列，则该转移阵是行可排列的。关于列可排列的若信道转移阵的每一列都是同一集合p∈{p1,p2,…pn}中诸元素的不同排列，则该转移阵是列可排列的。对称信道的定义若一个信道的转移阵行列都是可排列的，则该信道是一对称信道。（不一定有m=n）§3.2单符号离散信道的信道容量例：例：对称信道识别?§3.2单符号离散信道的信道容量⑵对称信道的信道容量由信道容量的定义式得：C=I(X;Y)=H(Y)-H(Y/X)又：而由于对称信

9、道定义，我们知道，此值是一个与x无关的一个常数，即所以有：将转移阵中的任一行看作一个信源集→熵对于行可排列情况，Hmi与i无关§3.2单符号离散信道的信道容量⑶达到对称信道容量时