北京邮电大学通信原理课件 第7章 信源和信源编码.pdf

《北京邮电大学通信原理课件 第7章 信源和信源编码.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第七章信源和信源编码7.1设一信源由六个不同的独立符号组成：试求：(1)信源符号熵H（X）=？(2)若信源每秒发送1000个符号，求信源每秒传送的信息量应为多少？(3)若信源各符号等概出现，求信源最大熵Hmax(X)=?解：(1)1111211111HX()=−log22−log−log2−log2−log22244323288161611112=×12+×+×3+×4+×5248163231==1.9375bit/symbol16(2)Rb=1.9375bit/符号×1000符号/秒=1937.5bit/s⎛⎞11HXmax()=×6⎜⎟−log2=l

2、og26≈2.585bit/symbol(3)⎝⎠667.2已知两个二进制随机变量X和Y服从下列联合分布：1PX()==Y00=P(X=,Y=1)=PX(==Y1)=3HX()HY()HX(

3、Y)HY(

4、X)HX(,Y)试求：、、、和。解:由联合分布可得到边际分布为2PX()=00==∑PX(,Y)=Y31PX()=11=−PX(=0)=32PY()=1,==∑P(XY1)=X31PY()=01=−PY()=0=3因此22112HX()=−log22−log=log23−=0.9183bit/symbol333332211HY()=−log22−log=

5、H()X=0.9183bit/symbol33331/12⎡PX(,Y)⎤HX()

6、Y=−E⎡⎤⎣⎦log22P()X

7、Y=−E⎢log⎥⎣PY()⎦PY()=∑∑PX(),lYog2XYPX(),Y113123123=+loglog+log2223133133132=bit/symbol3⎡PX(,Y)⎤HX()

8、Y=−E⎡⎤⎣⎦log22P()Y

9、X=−E⎢log⎥⎣PX()⎦PX()=∑∑PX(),lYog2XYPX(),Y123123113=+loglog+log2223133133132=bit/symbol3HX(),Y=+H(X)H(Y

10、X

11、)=log23=1.585bit7.3已知下列联合事件的概率表如下：试求：(1)PA()i=?PB(j)=?HA()=?HB()=?HA(),?B=(2)IA();?B=(3)解:(1)P(A1)=0.10+0.08+0.13=0.31，同理可得P(A2)=0.17；P(A3)=0.31；P(A4)=0.21；P(B1)=0.31；P(B2)=0.27；P(B3)=0.424H(A)=−∑P(Aii)log2P(A)=0.524×2+0.435+0.473=1.95bit/symbol(2)i=12/124HA()=−∑P(Aii)log2P(A)=0.

12、524×2+0.435+0.473=1.95bit/symboli=13H(B)=−∑PB()jjlog2PB()=0.524+0.51+0.526=1.56bit/symbolj=143HA(,B)=−=∑∑P(AijB)log2P(AiBj)1.0061+0.6804+0.98+0.7796=3.446biti=1j=1IA();B=+H(A)H(B)−H(A,B)=1.95+1.56−3.446=0.064bitI()X,,Y=+HX()H(Y)−HX(Y)7.4证明：证：IX(;Y)=−H(X)H(X

13、Y)=−HX()E⎡⎤⎣⎦−logP(X

14、Y

15、)⎡⎤PX(),Y=+HX()E⎢⎥log⎣⎦PY()=+HX()E⎡⎣−logP(Y)⎤⎡⎦⎣−E−logP(X,Y)⎤⎦=+HX()H(Y)−HX(,Y)#7.5已知一信源Xix1x2x3Pi0.450.350.2试求：HX()=?(1)信源熵(2)若进行Huffman编码,试问如何编码?并求编码效率η=?解:(1)3H(X)=−∑Px(ii)log2Px()=0.5184+0.5301+0.46438=1.51bit/symboli=1(2)Huffman编码方式如下：3KP=(x)k=×0.451+0.35×2+0.2×2=1.55∑ii平均码长

16、i=1bit3/12HX()1.51η===97.4%编码效率K1.557.6已知一信源Xix1x2x3x4x5x6x7Pi0.20.190.180.170.150.10.01试求：H(X)=?(1)信源熵(2)若进行Huffman编码,试问如何编码?并求编码效率η=?解:(1)7H(X)=−∑Px()iilog2Px()=2.63bit/symboli=1(2)编码方式如下7KP=(x)k=2.72bit∑ii平均码长i=1HX()2.63η===96.7%编码效率K2.72x()tt=sinc(2000)7.7试确定能重构信号所需的最低取样频率fs值

17、。x()t解：的傅氏变换是⎧1⎪f≤1000Xf()=⎨2000⎪⎩0else其