资源描述：
《信息论与编码答案》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、第二章信源及信源熵2-1(4)2-22-32-42-5(1,2)(2,1)共两种(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)共六种2-60—14个1---13个2----12个3---6个P=I=2-72-8“－”用三个脉冲“●”用一个脉冲(1)I(●)=I(－)＝(2)H=2.9(2)P(黑/黑)=P(白/黑)=H(Y/黑)=(3)P(黑/白)=P(白/白)=H(Y/白)=(4)P(黑)=P(白)=H(Y)=2-10(1)H(色)=(2)P(色数)=H(色数)=(3)H(数/色)=H(
2、色数)-H(色)=2-11(1)H(XY)=(2)P=得到H(Y)=(3)H(X/Y)=H(XY)-H(Y)=2-12(1)(2)(3)2-13P(i)=P(ij)=H(IJ)=2-14(1)P(ij)=P(i/j)=(2)方法1:=方法2:2-15P(j/i)=2-16(1)白黑11(2)设最后平稳概率为W1,W2得W1=07W2=0.3H(Y/黑)=H(Y/白)=H(Y/X)=W1H(Y/黑)+W2H(Y/白)=白黑2-17(1)(2)2-24(1)H(X)=(2)=(3)2-25解方程组即解得W1
3、=0.4W2=0.62-26P(j/i)=解方程组求得W=1/2S11/31/31/22/3S3S22/32-27求平稳概率符号条件概率状态转移概率解方程组得到W=2-28(1)求平稳概率P(j/i)=解方程组得到(2)信源熵为:2-29P(j/i)=解方程组得到W1=,W2=,W3=2-30P(i/j)=解方程组得W1=W2=W3=信源熵为2-31P(X1)=P(j/i)=P(X1X2)=（1）a.b.求H(X2/X1)有两种方法：方法1：方法2：H(X2/X1)=∑P(x1x2)log(x2/x1)
4、=c.求H(X3/X2)P(X2)=则方法1：P(X3/X2)=)++=方法2：P(X3/X2)=d.最后＝（2）首先求解稳定情况下的概率解方程组得到W1）＋W2＋W3=(3)不做2-32(1)P(j/i)=求解方程组得p(0)=p(1)=p(2)=(2)(3)H(X)=log(3)=1.58(4)=P=当p=时达到最大值1.58当时当时2-33(1)解方程组:得p(0)=p(1)=p(2)=(2)(3)当p=0或p=1时信源熵为0第三章无失真信源编码3-13-2(1)因为A,B,C,D四个字母,每个字
5、母用两个码,每个码为0.5ms,所以每个字母用10ms当信源等概率分布时,信源熵为H(X)=log(4)=2平均信息传递速率为bit/ms=200bit/s(2)信源熵为H(X)==0.198bit/ms=198bit/s3-3与上题相同3-5(1)H(U)=(2)每个信源使用3个二进制符号,出现0的次数为出现1的次数为P(0)=P(1)=(3)(4)相应的香农编码信源符号xi符号概率pi累加概率Pi-Logp(xi)码长Ki码字x11/20110x21/40.52210x31/80.7533110x4
6、1/160.875441110x51/320.9385511110x61/640.96966111110x71/1280.984771111110x81/1280.9927711111110相应的费诺码信源符号xi符号概率pi第一次分组第二次分组第三次分组第四次分组第五次分组第六次分组第七次分组二元码x11/200x21/41010x31/810110x41/16101110x51/321011110x61/6410111110x71/128101111110x81/128111111110（5）香农码
7、和费诺码相同平均码长为编码效率为：3-7（1）pi=累加概率为Pi=累加概率分别为符号x1x1x2x3x4x5x6x7…概率1/21/41/81/161/321/641/1281/256…累加概率00.50.750.8750.9380.9690.9840.992…码长12345678二元码010110111011110111110111111011111110…（2）信源的信息量为平均码长为：码字的平均信息传输率为R＝bit/码（3）编码效率R＝100％3-10（1）H(X)＝（2）信源符号xi符号概率
8、pi编码过程编码码长x10.370.370.370.380.621002x20.250.250.250.370.38012x30.180.180.200.25112x40.100.100.181003x50.070.1010104x60.03101143-11（1）信源熵（2）香农编码：信源符号xi符号概率pi累加概率Pi-Logp(xi)码长Ki码字x10.3201.644200x20.220.322.1843010x30.180.542
