第5章(2)无失真和限失真信源编码

《第5章(2)无失真和限失真信源编码》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、5.2无失真信源编码信源输出X＝(X1X2…Xl…XL)，Xl{a1，a2，…，ai，…，an}编码为Y＝(Y1Y2…Yk…YkL)，Yk{b1，b2，…，bj，…，bm}要求能够无失真或无差错地译码，同时传送Y时所需要的信息率最小。15.2无失真信源编码Yk平均每个符号的最大信息量为logm，KL长码字的最大信息量为KLlogm。用该码字表示L长的信源序列，则传送一个信源符号需要的信息率平均为M为Y所能编成的码字的个数25.2无失真信源编码信息率最小:就是找到一种编码方式使最小。无失真信源

2、编码定理研究的内容:最小信息率为多少时，才能得到无失真的译码？若小于这个信息率是否还能无失真地译码。35.2无失真信源编码无失真的信源编码定理定长编码定理变长编码定理K是定值且惟一可译码编码的目的：寻找最小K值。45.2.1定长编码定理由L个符号组成的、每个符号的熵为HL(X)的无记忆平稳信源符号序列X1X2…Xl…XL，可用KL个符号Y1，Y2，…，Yk，…，YKL(每个符号有m种可能值)进行定长编码。对任意>0，>0，只要则当L足够大时，必可使译码差错小于；反之，当时，译码差错一定是有

3、限值，而L足够大时，译码几乎必定出错。55.2.1定长编码定理定长编码定理说明：码字所能携带的信息量大于信源序列输出的信息量，则可以使传输几乎无失真，当然条件是L足够大。65.2.1定长编码定理反之，当时，不可能构成无失真的编码，也就是不可能做一种编码器，能使收端译码时差错概率趋于零。时，则为临界状态，可能无失真，也可能有失真。75.2.1定长编码定理例:信源有8种等概率符号,L=1,信源序列熵达到最大值,H(x)=3bit/符号,即K=3bit/符号=H(x).当信源符号输出概率不相等时,若p

4、(ai)={0.4,0.18,0.1,0.1,0.07,0.06,0.05,0.04},则H(x)=2.55bit/符号用22.55=5.856种可能的码字85.2.1定长编码定理在这种编码方式下，若差错概率为Pe，据切比雪夫不等式可导出95.2.1定长编码定理式中为自信息方差,为一正数。当和均为定值时，只要L足够大，Pe可以小于任一正数。即，在这种编码方式下，若差错概率为Pe，据切比雪夫不等式可导出105.2.1定长编码定理当信源序列长度L满足时，能达到差错率要求115.2.1定长编码定理

5、在连续信源的情况下，由于信源的信息量趋于无限，显然不能用离散符号序列Y来完成无失真编码，而只能进行限失真编码。125.2.1定长编码定理定义为编码效率，即信源的平均符号熵为H(X)，采用平均符号码长为来编码，所得的效率。编码效率总是小于1，且最佳编码效率为135.2.1定长编码定理编码定理从理论上阐明了编码效率接近1的理想编码器的存在性，它使输出符号的信息率与信源熵之比接近于1，即L取无限长145.2.1定长编码定理例1设离散无记忆信源概率空间为比特/符号155.2.1定长编码定理对信源符号采用

6、定长二元编码，要求编码效率为90％，若取L＝1，则可算出＝2.5590%=2.8比特/符号Pe＝0.04太大165.2.1定长编码定理若要求译码错误概率175.2.2变长编码定理变长编码定理在变长编码中，码长K是变化的根据信源各个符号的统计特性，如概率大的符号用短码，概率小的用较长的码，使得编码后平均码长降低，从而提高编码效率。（统计匹配）185.2.2变长编码定理单个符号变长编码定理：若离散无记忆信源的符号熵为H(X)，每个信源符号用m进制码元进行变长编码，一定存在一种无失真编码方法，其码字平

7、均长度满足下列不等式195.2.2变长编码定理离散平稳无记忆序列变长编码定理：对于平均符号熵为HL(X)的离散平稳无记忆信源，必存在一种无失真编码方法，使平均信息率满足不等式其中为任意小正数。205.2.2变长编码定理用变长编码来达到相当高的编码效率，一般所要求的符号长度L可以比定长编码小得多。编码效率的下界:215.2.2变长编码定理编码效率总是小于1，可以用它来衡量各种编码方法的优劣。为了衡量各种编码方法与最佳码的差距，定义码的剩余度为225.2.2变长编码定理例2设离散无记忆信源的概率空

8、间为235.2.2变长编码定理若用二元定长编码(0，1)来构造一个即时码：。平均码长＝1二元码符号/信源符号输出的信息效率为R＝0.811比特/二元码符号编码效率为245.2.2变长编码定理例3.长度为2的信源序列进行变长编码（编码方法后面介绍），其即时码如下表aip(ai)即时码a1a19/160a1a23/1610a2a13/16110a2a21/16111255.2.2变长编码定理二元码符号/信源序列二元码符号/信源符号编码效率信息效率R2＝0.961比特/二元码符号265.2.2变长编码