资源描述：
《信息论与编码第二章》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、离散有记忆信源的序列储对于有记忆信源，就不像无记忆信源那样简单，他必须引入条件爛的概念，而且只能在某些特殊情况下才能得一些有价值的理论。对于有两个符号组成的联合信源，有下列结论：®//(XpX2)=H(X1)+H(X2IXi)=/7(X2)+/7(X1IX2);②H(XJH(XJX2),//(X2)>H(X2IXj)o式①表明信源的联合爛(即前后两个符号(XyX?)同时发生的不确定度)等于信源发出前一个符号X］的信息爛加上前一个符号X1已知时信源发出下一•个符号X2的条件爛。当前后符号无依存关系时，有下列推论；H(X1,X2)=H(Xl)+H(X2)
2、9H(XJX2)=H(X1H(X2IXl)=H(X2);对于i般的有记忆信源如文字、数据等，它们输出的不是单个或两个符号，而是由有限个符号组成的序列，这些输出符号Z间存在着相互依存的关系。可依照上述结论來分析序列的爛值。若信源输出一个L长序列，则信源的序列爛为H(X)=H(X
3、,X2，・・・,Xl)=H(XJ+H(X2IXJ+・・・H(X」X
4、,X2，・・・,X_)(2-3-2)记作LH(X)=H(XL)=》H(X」Xi)厶-1平均每个符号的嫡为Hl(X)=^H(XL)(2-3-3)当信源退化为无记忆吋，有若乂满足平稳性，则冇/=1H(X)=LH(X
5、)这一结论与离散无记忆信源结论是完全一致的。可见，无记忆信源是上述有记忆信源的一个特例。例2-12己知离散有记忆信源11*各符号的概率空间为X_a】a2%—114IP—_.3694_现信源发出二重符号序列消息a，cij),这两个符号的概率关系性用条件概率#(4丨®)表示，并由表2・6给出。可以求出信源的序列爛和平均符号嫡。表2-6条件概率表示两个符号的关联性aA5al9/112/110a21/83/41/8a302/97/9条件爛33//(XglXJ=■工工"(4,幻)logp{ajIaJ=0.872b〃/符号/=1J=1单信号信源爛30(X)=H(X
6、J=—》0(e)logp(at.)=1・543仇〃符号i=l发二重符号序列的爛H(X,Xj=H(X])+7/(X2丨X])=1.543+0.872=2.415仞〃序列平均符号嫡H2(X)=-H(X2)=2bitl符号比较上述结果可得H2(X)7、的单调非增函数。由于条件爛小于或等于无条件爛，条件较多的爛小于或等于一些条件的爛，考虑到平稳性，所以H(XJX],X2,…,X_)8、,・・・,X—)5H(X_IX2，・・・,X_2)(平稳性)=H(X』X
9、,・・・，X_)H(XlIXl-1)因为ii厶Hl(X)=7H(X1,X2,...,Xl)=-2；H(X/IXz-1)LL/_]=+[//(XJ+H(X2lXJ+・・・+H(X」X],X2，・・・,X_)JL/由结论1得上式中的H(XZIXPX2,---,XL_J
10、是和式L项中最小的，所以比（心+5（*"川2，・・化）=//（笛1加）结论3HJX）是L的单调非增函数。因为LHl（X）=H（X“X2,…,XJ=H（X
11、,X2，・・・,X3）+H（XJX
12、,X2，・・・,X_J运用结论2得HL（X）H厶（X）>H“i（X）…・结论4当厶TOO时/（x）^^iimH厶（x）=iimH（x」X
13、,X2，・・・,Xi）（2-3-6）厶TOCL->co式中，H'X)称
14、为极限爛，乂称极限倍息量。先证明式。根据上述结论1有H屮(X)=7i7[H(E，X2，・・・,XLd)+H(X」X
15、,X2，・「Xs)+・・・+H(X』E，X2，・・・,X*J]L+kL+k+H(X」(X
16、,X2，・・・,X_))+・・・+H(XJ(X],X2，・・・,X_))]二占HE"••瓦J+取足够大的，固定L,则询一项可忽略，而后一项系数接近于1,得limH屮(x)5H(x」x「・・，x_)<2-3-7)«->8结论2和式(2-3-7)表明，条件爛H(X/1乙…，X-J的值是在HI(X)和H屮(X)之间，令厶T8,则Hl(X)应等于H屮(X)(
17、假设极限存在)，故得lim乞(x)=limH(XJX
18、…,X-)k—>gL—>oo
