信息论.总结与复习2014-6概要课件.ppt

《信息论.总结与复习2014-6概要课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码总结与复习2014信息学院信息工程教研室牛秋娜本课程主要内容一个理论和三个编码:理论--------香农信息论编码--------信源编码信道编码保密编码各编码作用是？第一部分、信息论基础1.1信源的信息理论:1、信息的定义：（1）自信息I=log(1/p)=-logp（2）通信完成后获得的净信息量=通信所消除掉的不确定度（3）信息的单位：对数的底取2时，自信息的单位叫比特(bit)。第一部分、信息论基础1.1信源的信息理论2、信息熵的定义：（1）离散信源（2）连续信源第一部分、信息论基础1.1信源的信息理论3

2、、信息熵的特点（1）非负性：H(X)≥0（2）极值性：《1》离散信源各符号等概率时出现极大值：H0=logm《2》连续信源信号幅度受限时均匀分布出现极大值：hmax(X)=log(b-a)；《3》连续信源信号方差有限时高斯分布出现极大值：第一部分、信息论基础1.1信源的信息理论4、离散序列的信息熵（1）无记忆信源的联合熵与单符号熵：H(X1X2……XN)=H(X1)+H(X2)+H(X3)+……+H(XN)=NH(X1)（2）有记忆信源的联合熵与条件熵：H(X1X2……XN)=H(X1)+H(X2X1)+H(X3X1X2)

3、+……+H(XNX1X2……XN-1)（3）平均符号熵：HN=H(X1X2……XN)/N第一部分、信息论基础1.1信源的信息理论（4）序列信息熵的性质：《1》条件熵不大于无条件熵，强条件熵不大于弱条件熵：H(X1)≥H(X2X1)≥H(X3X1X2)≥………≥H(XNX1X2……XN-1)《2》条件熵不大于同阶的平均符号熵:HN≥H(XNX1X2……XN-1)《3》序列越长，平均每个符号的信息熵就越小：H1≥H2≥H3≥……≥HN总之：H0>H1≥H2≥H3≥……≥HN≥H∞（无记忆信源取等号。）第一部分、信息论基础1.1

4、信源的信息理论第一部分、信息论基础1.1信源的信息理论5、马尔可夫信源的信息熵（1）马尔可夫信源的数学模型和定义：N阶马尔可夫信源的关联长度是N+1，N+2以外不关联。（2）状态、状态转移与稳态概率：状态、状态转移、状态转移图、稳定状态、稳态方程（3）稳态符号概率：结论：N阶马氏信源稳态信息熵(即极限熵)等于N+1阶条件熵。（4）稳态信息熵：[例1]已知二阶马尔可夫信源的条件概率：p(000)=p(111)=0.8；p(001)=p(110)=0.6；求稳态概率、稳态符号概率、稳态符号熵和稳态信息熵。解：二阶马氏信源关联长

5、度=3，状态由2符号组成，共有4个状态，分别为：E1=00；E2=01；E3=10；E4=11；已知的条件概率即是：p(0E1)=p(1E4)=0.8；p(0E2)=p(1E3)=0.6；根据归一化条件可求出另外4个状态符号依赖关系为：p(1E1)=p(0E4)=0.2；p(1E2)=p(0E3)=0.4；第一部分、信息论基础1.1信源的信息理论E4E3E2E10:0.80:0.40:0.21:0.81:0.21:0.41:0.60:0.6稳态方程组是：第一部分、信息论基础1.1信源的信息理论可解得：稳态符号概率为：稳态信

6、息熵为：=0.895bit/符号第一部分、信息论基础1.1信源的信息理论因此，稳态符号熵=1bit/符号。第一部分、信息论基础1.2信道的信息理论1.2信道的信息理论:1、信道的数学模型：进入广义信道的符号为ai∈A；从广义信道出来的符号bj∈B；其前向概率为pij=p(bjai)。传输矩阵:第一部分、信息论基础1.2信道的信息理论2、信道有关的信息熵：（1）信源熵(先验熵)：（2）噪声熵：（3）联合熵：（4）接收符号熵：（5）损失熵(后验熵)：第一部分、信息论基础1.2信道的信息理论3.平均互信息计算公式：I(X;Y)=

7、H(X)–H(XY)=H(Y)–H(YX)=H(X)+H(Y)–H(XY)I(X;Y)代表系统每完成收发一对符号的通信过程后，所消除掉的平均不确定度，即信宿从每个符号中平均所获得的净信息量。[例2]已知信源先验概率p(x)={0.7,0.3}，信道传输矩阵；试计算各信息熵和互信息。H(XY)=-0.21log0.21–0.14log0.14–0.35log0.35–0.12log0.12–0.09log0.09–0.09log0.09=2.3924bit/符号解:(1)先验熵：H(X)=-0.7log20.7–0.3log

8、20.3=(-0.7lg0.7–0.3lg0.3)/lg2=0.881bit/符号(2)联合熵：第一部分、信息论基础1.2信道的信息理论H(YX)=–0.21log0.3–0.14log0.2–0.35log0.5–0.12log0.4–0.09log0.3–0.09log0.3=1.5114bit/符