信息论与编码纠错第5章.ppt

《信息论与编码纠错第5章.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章有噪信道编码内容提要本章介绍了信道编码和译码的基本概念，介绍了两种常用的译码准则：最大后验概率译码准则和极大似然译码准则,还介绍了在这两种译码准则下错误概率的计算方法。本章还介绍了信道编码定理及信道编码逆定理，以及信息论中的一个重要不等式Fnao不等式。§5.1信道编码的基本概念我们要尽可能的提高信息传输率，并控制传输误差。信源编码以提高传输效率作为主要考虑因素，信道编码以提高传输可靠性作为主要考虑因素。信道有多种形式，如电视、广播、微波、电话、计算机局域网和宽带网等，对于所有的信道可用下图所示的模型来表示

2、：衡量信道传输快慢的指标是信息传输率，而衡量信息传输可靠性的指标是平均错误概率，平均错误概率与信道的统计特性有关。要改变信道统计特性成本太大，所以可事先对信源编码器输出的符号序列按照某种规则进行编码，一般的方法是给信源序列加上一定的冗余度，这种编码称为信道编码，编好的代码称为码字，将码字送入信道传输，在信道的输出端，信道译码器根据编码规则对信道输出符号进行估值，尽量使这种估值接近输入码字。信源输出序列，经信道编码器编成码字并输入信道，由于干扰，信道输出，信道译码器对估值得。【例】给定二元对称信道，信道固有错误概率

3、为p（p<0.5）编码规则：为提高可靠性，每个信道符号重复三次发送。译码规则：择多译码，即信宿方收到的三个符号中有两个或三个为1，就将此次接收符号判决为1；若三个符号中有两个或三个为0，就将此次接收符号判决为0。下面为重复编码传输示意图，计算错误概率pe。信源输出序列为：信道输入序列为：由于p的存在，使得传输出错，故信道输出为：根据译码规则，信道估值输出：信道错误概率：假设信道离散无记忆，即错误概率为：重复编码的结果使错误概率下降。【例】逆重复码离散无记忆二进制对称信道，固有误码率为p(p<0.5)，信源输出序列

4、为三位二进制数字。编码规则：为提高传输效率，仅向信道发送一位，预先将信源输出序列进行择多编码：信源输出的三位符号中有两位或3位是1，信源序列编码为1，若三位符号中有两位或3位是0，就将此信源序列编码为0。译码规则：将接收的一位符号重复三次译出，即若接收到1就译码为111，即若接收到0就译码为000。下面为重复编码传输示意图，计算错误概率pe。（1）先设p=0，计算这种编码方法带来的固有错误p1。信道输入符号集X={000，001，010，011，100，101，110，111}判决输出符号集Y={000，111}

5、译码规则：因为后验概率：则出错概率：假设8组输入序列是等概发送的，由于信道的对称性，两个估值序列也是等概分布的，则每个序列的平均错误概率为:误比特率（2）再设p≠0，计算由于信道噪声引起的错误概率p2。因为每个序列有三位二进制数字，但只发送一位，这一位的出错概率为p，故序列差错概率为p，误比特率（3）总差错概率（误比特率）：【例】奇偶校验码在信息序列后面加上一位校验位，使之模2和等于1，这样的编码称为奇校验码；若使模2和等于0，这样的编码就称为偶校验码，即每个码矢中1的个数固定为奇数或偶数。奇偶校验码能检测出奇数

6、位错误，但无法判断错的是哪一位，故没有纠错能力。这种编码方式可用在反馈信道场合，如计算机通信串口通信。§5.2译码规则及错误概率信道总不可避免会搀杂噪声，所以信息在信道传输过程中，差错是不可避免的。选择合适的译码规则可以弥补信道的不足。【例】BSC信道的转移概率如下时，这是一种强噪声信道，在这种情况下，若按常规译码，肯定出错，但可将判决取反，收到0判为1，收到1判为0，反而正确。可见译码规则对传输系统错误概率的影响是很大的。一．最大后验概率译码准则设信源有M个消息，信道编码器已用M个码矢对它进行了最佳编码。编码后

7、发送码矢量，其发送概率为，通过信道转移概率为的信道传输，接收矢量为，信道译码器输出。通信过程框图如下：当估值时，就产生了误码，用表示后验概率，则收到估错的错误概率为：通信总希望错误概率最小，由上式可看出错误概率最小等同于后验概率最大，这就是最大后验概率译码准则。根据概率关系式根据最大后验概率译码准则，收到矢量后，在所有中，选一个后验概率最大的值，作为对的估值，那么对这M个说，概率是同一值，根据上式后验概率值来就意味着全概率最大，因此最大后验概率译码准则也称为最大联合概率译码准则。最大【例】信源分布信道转移概率矩阵

8、信道输出符号Y={y1，y2，y3}，按最大后验概率准则译码。(1)根据p(xy)=p(y/x)p(x)算出全概率，用矩阵表示(2)根据，算出[p(y)]=[0.380.340.28](3)再由算出后验概率，用矩阵表示(4)按最大后验概率准则译码，在后验概率矩阵中，每列选一最大值（矩阵中带下划线的值），译为(5)若按最大联合概率译码准则译码，在全概率矩阵[p(xy)]中每