资源描述：
《信息论与编码复习总结.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。
1、信息论与编码理论复习资料By疯狂阿德第一章绪论考点：信息、消息、信号的区别通信系统模型香农1.信息、消息、信号的区别信息：指事物运动的状态或存在方式的不确定性的描述。消息：包含信息的语言、文字、图像等。信号：信息的物理体现。在通信系统中，实际传输的是信号，但实质内容是信息，信息包含在信号中，信号是信息的载体，通信的结果是消除或部分消除不确定性，从而获得信息。2.通信系统模型通信系统模型信源：信息输出的源。分离散信源和模拟信源。信宿：信息归宿之意，意即收信者或用户，是信息传送的终点或目的地。信道：传送信息的物理媒介。密钥
2、源：产生密钥k的源。信号x经过k的加密运算后，就把明文x变换为密文y。一般地说，通信系统的性能指标主要是有效性、可靠性、安全性和经济性。除了经济性外，这些指标正是信息论的研究对象。信源编码：信源编码器的作用：一、将信源发出的信息变换成基带信号；二、压缩冗余度，提高效率（有效性）。信道编码：在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有检错和纠错能力。信道译码器具有检错和纠错能力，它能将在其检错或纠错能力范围内的错传码元检测出来并加以纠正，以提高传输信息的可靠性。信道编码包括调制解调和纠错检错编译码。信道中的干扰
3、通常使通信质量下降，对于模拟信号，表现在受到的信号的信噪比下降；对于数字信号就是误码率增大。信道编码的主要方法是增大码率或频带，即增大所需的信道容量。这恰与信源编码相反。3.香农他在1941年至1944年对通信和密码进行深入研究，并用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念。还指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息，而实现这一目标的主要方法是编码等。这一成果于1948年在《贝尔系统技术杂志》以《通信的数学理论》为题公开发表，次年，他又在同一杂
4、志上发表了《噪声下的通信》香农因此成为信息论的奠基人。简答题：一、信源编码与信道编码的区别答：信源编码是压缩信源发出的信息的冗余度，是为了提高信息传输的有效性；而信道编码是在信源编码器输出的代码组上有目的地增加了一些监督码元，增大了信息的冗余度，以提高传输信息的可靠性。二、能否将三种码（信源编码、信道编码、密码）合成一种码进行编译？答：提高有效性必须去掉信源符号中的冗余部分,此时信道误码会使接收端不能恢复原来的信息,也就是必须相应提高传送的可靠性,不然会使通信质量下降；反之,为了可靠而采用信道编码,往往需扩大码率,也就降低了
5、有效性。安全性也有类似情况编成密码,有时需扩展码位,这样就降低有效性；有时也会因失真而使授权用户无法获得信息,必须重发而降低有效性,或丢失信息而降低可靠性。从理论方面来说，若能把三种码合并成一种码来编译，即同时考虑有效、可靠和安全，可使编译码器更理想化，在经济上可能也更优越。这种三码合一的设想是当前众所关心的课题，但因理论上和技术上的复杂性，要取得有用的结果，还是相当困难。第二章信源与信息熵考点：自信息概率空间Xx1x2xnPp(x)p(x)p(x)12n样本空间：某事物各种可能出现的不同状态
6、。先验概率p(xi)：选择符号xi作为消息的概率。•对xi的不确定性可表示为先验概率p(xi)的倒数的某一函数。自信息1I(x)logiP(x)i11I(x;y)loglogijP(x)p(xy)iij后验概率p(xi
7、yj)：接收端收到消息yj后而发送端发的是xi的概率设离散信源X，其概率空间为Xx1x2xnPp(x1)p(x2)p(xn)如果知道事件xi已发生,则该事件所含有的信息量定义为:I(xi)logp(xi)I(xi)含义:–当事件xi发生以前,表示事件xi发生的不确定性–当事
8、件xi发生以后,表示事件xi所含有的信息量I(xi)的特性：⑴I(xi)是非负值⑵当p(xi)=1时，I(xi)=0⑶当p(xi)=0时，I(xi)=∞⑷I(xi)是先验概率p(xi)的单调递减函数，即当p(x1)＞p(x2)时，I(x1)＜I(x2)⑸两个独立事件的联合信息量等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。•一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小；•一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大；•若是确定
9、性事件，出现概率为1，则它包含的不确定度为0。联合自信息量两个消息xi，yj同时出现的联合自信息量I(xy)logp(xy)ijij•注意:•当xi,yj相互独立时，有p(xiyj)=p(xi)p(yj)，那么就有I(xiyj)=I(xi)+I(yj)。•xiyj所包含的不确定度在数值
