《信息论与编码》复习new

《《信息论与编码》复习new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、《信息论与编码》复习夏平三峡大学计算机与信息学院通信工程系例：同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求：(1)“3和5同时出现”事件的自信息量；(2)“两个1同时出现”事件的自信息量；(3)两个点数的各种组合（无序对）的熵或平均信息量；(4)两个点数之和(即2，3，…，12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息。（1）P（3、5或5、3）＝P（3、5）+P（5、3）＝1/18I＝log2（18）＝4.1699bit。（2）P（1、1）＝l/36。I＝log2（36）＝5.1699bit。（3）相同点出现时（11、22、33、44

2、、55、66）有6种，概率1/36。不同点出现时有15种，概率1/18。H（i，j）＝6*1/36*log2（36）+15*1/18*log2（18）＝4.3366bit/事件。（4）i+j23456789101112P(i+j)1/362/363/364/365/366/365/364/363/362/361/36H(i+j)=H(1/362/363/364/365/366/365/364/363/362/361/36)=3.2744bit/事件。（5）P（1、1or1、jori、1）＝1/36+5/36+5/36＝11/36。I＝log2（36/11）＝1.

3、7105bit/事件例：居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？、P（女大学生）＝1/4；P（身高>1.6m/女大学生）=3/4；P（身高>1.6m）＝1/2；P（女大学生/身高>1.6m）＝P（身高>1.6m、女大学生）/P（身高>1.6m）＝3/4*1/4*2＝3/8I＝log2（8/3）＝1.4150bit。例：一阶马尔可夫信源的状态如图所示，信源X的符号集为{0,1,2}。（1）求平稳后的信源的概率分布；（2）求

4、信源熵Hppp01pp2p（1）由状态转移图可得状态一步转移矩阵p0pPpp00pp由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。由WipijWj和pij1可得方程组ijW1pW1pW2W2pW2pW3WpWpW313WWW1123W1/31解方程组得到各状态的稳态分布概率W21/3，W1/33p01/3所以信源平稳后的概率分布为p11/3p21/3（2）因为信源为一阶马尔可夫信源，所以信源的熵XpsiHX/si

5、p0HX/0p1HX/1p2HX/2i111Hp,0,pHp,p,0H0,p,pHp,pHp333例：2/31/3设二进制对称信道的概率转移矩阵为,1/32/3(1)若p(x)3/4,p(x)1/4,求H(X),H(X

6、Y),H(Y

7、X)和I(X;Y).01(2)求该信道的信道容量及其达到信道容量时的输入概率分布.1(1)H(X)p(xi)logp(xi)0.811bit/符号i0p(y)p(x)p(y

8、x)p(x)p(y

9、x)7/120000101p(y)1p(y)

10、5/12101H(Y)p(yi)logp(yi)0.980bit/符号i011H(Y

11、X)p(xi)p(yj

12、xi)logp(yj

13、xi)0.918bit/符号i0j0H(XY)H(X)H(Y

14、X)1.729bit/符号H(X

15、Y)H(XY)H(Y)0.749bit/符号I(X;Y)H(X)H(X

16、Y)0.062bit/符号(2)该信道为对称DMC信道,因此在p(x)p(x)1/2时,取得信道容量为:012Clog2pijlogpij0.082bit/符号j1例：Ss1s2s3s4s5s6s7对信源

17、进行二元编码，编码方案为P0.20.190.180.170.150.100.01信息符号对应码字s1000s2001s3011s4100s5101s61110s71111110（1）计算平均码长L；（2）编码后信息传输率R；（3）编码信息率R；1.（4）编码效率。q（1）LpsiLi3.14（码元/信源符号）i1（2）HS2.61（比特/信源符号）HS2.61R0.831（bit/码元）L3.14（3）RLlogr=3.14（bit/信源符号）R（4）0.831RmaxHS1.或者0.831

18、R