信息论与编码实验报告.doc

《信息论与编码实验报告.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、NANCHANGUNIVERSITY信息论与编码实验报告（2018年11月27日）学院：信息工程学院系电子信息工程系专业班级：学生姓名：学号：指导教师：目录实验一自信息量和熵源实验二准对称信道容量实验三费诺不等式实验四香农编码实验五费诺编码实验六霍夫曼编码实验一自信息量和熵源一、实验要求1、画出I=-log2p的函数图；2、画出H(p)=-plog2p-(1-p)log2(1-p)函数图。二、实验原理及理论分析自信息量：一个事件的自信息量就是对其不确定性的度量。直观地把自信息量定义为收到某消息获得的信息量=不确定性减少的量。而事件x发生的不确定性与事件发生的概率q(x)有

2、关，概率越小，不确定性越大。定义I(x)=-logq(x)。熵（平均自信息量）：实际信源包含许多消息X=(x1,x2,…)，因此需要考虑整个信源自信息量的统计平均值。无记忆信源的平均自信息量定义为各消息自信息量的概率加权平均值，即平均自信息量H(X)定义为H(X)=-iqxilogq(xi)，简称熵。H(X)是唯一确定集合X中任一事件xi(i=1,2,…)所需要的平均信息量，反应了X中事件xi出现的平均不确定性。三、实验结果四、实验结果分析由图可知，I(x)是p的单调递减函数，概率小的事件一旦发生则赋予的信息量大，概率大的事件如果发生则赋予的信息量小。当p=1时，I(x)

3、=0，表示确定事件发生得不到任何信息。当p=0时，I(x)→∞，表示不可能事件一旦发生，信息量将无穷大。由图可知，对于二元信源，p=0或者p=1都对应确定事件的分布，因此熵值H(X)为0，而等概分布时，熵值H(X)取最大值为1。一、实验总结通过这次实验，使用Matlab数值模拟信源熵和自信息量，进一步理解了自信息量和熵的概念、计算和它们的物理意义。理论和实践的结合让我对这个知识点了解得更加深刻。实验二准对称信道容量一、实验要求画出强对称信道容量数值模拟图。二、实验原理及理论分析信道是信息传输的通道。信道可以按不同得特性进行分类，根据输入输出信号得特点可以分为以下四类：离散

4、信道、连续信道、半连续信道、波形信道。根据统计特性，即转移概率得不同，信道又分为无记忆信道和有记忆信道两类。强对称信道是一种常见的离散无记忆信道，每一子集关于行、列都对称，它的输入符号x∈{0，1}，输出符号y∈{0，1}，信道特性可表示为信道矩阵。信道转移概率p(y=0

5、x=0)=p(y=1

6、x=1)=1-p,p(y=1

7、x=0)=p(y=0

8、x=1)=p。强对称信道的容量计算公式：C=logK+jpyjxilogpyjxi=logK-H(P的行矢量)一、实验结果二、实验结果分析由图可知，p=0时，信道的输入符号和输出符号是一一对应的关系，此时信道容量C=log2，达到

9、最大值。p=0.5时，信道的不确定性最大，此时信道容量C=0，这是一种最差的信道。p=1时，这是一种强噪信道，也是一种确定信道，此时信道容量也会达到最大值C=log2。三、实验总结通过Matlab数值模拟强对称信道容量，观察最高点最低点，加深了对强对称信道这一类特殊信道的理解，验证了理论计算的正确性。实验三费诺不等式一、实验要求画出费诺不等式示意图，以H(X

10、Y)为纵坐标，Pe为横坐标，画出函数H(Pe)+Pelog(r-1)随Pe变化的曲线图，标注logr点以及log(r-1)点。二、实验原理及理论分析设信道输入符号X和输出符号Y取自同一符号集A={a1,a2,…,ak

11、}，则传输过程中的错误概率Pe和信道疑义度H(X

12、Y)之间满足下列关系式，也即著名的费诺不等式：HXY≤H2pe+pelog⁡(k-1)费诺不等式的物理意义：进行一次判决后，关于X的疑义度可分为两项：1、是否判对，疑义度为H2(pe)；2、如果判决出错（概率为pe），错在k-1个符号中的哪一个？疑义度不会超过log(k-1)。一、实验结果二、实验结果分析根据极大离散熵定理，信源的消息个数为M，则H(X)≤logM，等号当且仅当信源X中各消息等概时成立。如图所示，各消息等概分布时，信道疑义度即信源熵最大为log(r)。如图所示，当错误概率为1时，判决出错，错误发生在k-1个

13、符号中，疑义度最大为log(k-1)。三、实验总结使用Matlab模拟时，p0和pd的值不能直接取到0和1，这样围不成一个封闭区域，p0和pd可以取到两个无限接近0和1的值。很好地掌握极大离散熵定理是理解费诺不等式的基础。实验四香农编码一、实验要求1、根据香农编码的方法和步骤，编写香农编码程序，得到码字和编码效率；2、用编写的源程序验证书中例题的正确性，并用图表示码长结果。二、实验原理及理论分析香农编码法是一种常用的变长编码法，对于证明变长编码定理起了很重要的作用。香农编码具体步骤如下：1、将信源发出的M个消息，按其概率递减顺