北邮通原第2讲

《北邮通原第2讲》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二讲.信源编码定理与无失真信源编码信息与通信工程学院无线信号处理与网络实验室彭岳星yxpeng@bupt.edu.cn62282245H()SH()XI()X;Ymax1H()SH()S信道容量fP:('SSYf

2、;)1SH()SXLH()X

3、Y011HX(

4、)()YXI;YHI()(YX;Y)熵的性质非负性最大熵信息度量离散—均匀分布自信息，条件自信息，联合自信息连续—正态分布事件的信息度量链式法则n熵，条件熵，联合熵HXX（)12XnHX()i1i事件集合

5、的信息度量Shannon不等式：熵的不增原理互信息HYX(

6、)HY()两事件集合的共同信息度量联合熵不大于各信息熵之和信源编码功能压缩信源冗余度，提高传输效率。目标编码序列要求的信息速率尽可能小以尽可能小的错误概率恢复原序列：正确译码类型无失真编码vs.有失真编码Huffman编码自适应Huffman码香农-凡诺码游程编码预测编码正交编码。。。等长编码vs.不等长编码编码分类码奇异码非奇异码惟一可译码非惟一可译码变长码等长码即时码延长码奇异码：从信源消息到码字的影射不是一一对

7、应的，奇异码不具备惟一可译性。非奇异码：从信源消息到码字的影射是一一对应的，每一个不同的信源消息都用不同的的码字对其编码。即时码：若码中任一码字都不是另一码字的字头，称该码为无前缀码，即时码是惟一可译码。不能即时译码的码字，称为非即时码，也称延长码。例：编码分类码1：奇异码码2：非奇异码，非惟一可译码----2次扩展码是奇异的码3：惟一可译码，延长码；接收到一个完整的码字后还不能立即译码，还需等下一个码字发出后才能判断是否可译。（出现1作为前一码字结束的标志）码4：即时码（出现1就可判断码字结束）平均码长对于变长

8、码，码集C的平均码长n定义为码C中每个码字c(m=1,…，M)其码长的概率加权平均值为mMnnmmp()cm1式中n是码字c所对应的码字的长度，p(c)是码字c出现的mmmm概率。对于等长码，由于码集C中的每个码字的码长都相同，平均码长就等于每个码字的码长nnp(c)np(c)nmmmm1m1信源编码定理通信系统的目的是让信宿重现信源。凡是信宿能自己确定的东西，都不需要传输只需要传输信宿自己不能确定的部分。信宿所不能确定的那部分有多少？——信源的熵香农已经严格证明：只要传输的总比特

9、总数大于等于信源总的熵（单位也是比特），就有办法让信宿再现信源的输出7无失真信源编码定理等长编码定理及变长编码定理所陈述的事实：用等长/变长信源编码，可以使平均码长逼近每符号的信源熵H[X]，信宿几乎可以100%复原出原始信源不可能存在任何一种压缩算法，其输出速率比H[X]更低，居然还能使信宿几乎100%复原出原始信源。8限失真信源编码定理如果我们可以接受：信宿的复原结果和信源原始输出之间有不超过D的失真度，那么最低速率可以压缩到某个信息论可以算出的数值R，其值是D的函数：R(D)函数不可能存在任何一种

10、压缩算法，其输出速率比这个R更低，居然还能使失真不超过D。9离散无失真信源编码定理编码模型：L位输入无记忆符号序列X=(X…X…X)每位有n1lL种取值可能，编码器输出等长的K位无记忆符号序列S=(S…S…S),每个符号有m种可能取值。1kK为实现无失真且有效地编码等概信源的熵LKKnlog无失真要求：nmLmlogLK等概码元的熵有效性要求：nma.通常信源不等概，所以才能进行压缩编码；b.仅对大概率的典型序列进行编码,而小概率的非典型序列不编码。无失真编码：无失真或近似无失真编码典型序列由弱大

11、数定理出发信源输出长为L的离散无记忆消息序列，序列中每个符号有Ln种可能取值，总共有n种可能的消息序列数。当L足够大时，根据大数定理，其中一些序列的集合以趋于1的概率出现，且该序列集合中的每一序列具有相同的出现LHX()概率，约为2，这些序列称为典型序列。典型序列的LHX()总数为2。2()x22当L足够大时，L2,其中()xEIxHXi，,是给定的任意小的正数，则如果只对典型序列进行编码，而忽略非典型序列所引入的译码差错率可小于任一正数δ。（Chebyshev不等式）

12、离散无失真信源编码定理定长编码定理由L个符号组成的，每个符号的熵为H(X)的平稳无记忆符号序列X…X…X，可用K个符号Y…Y…Y1lL1kK（每个符号有m种可能取值）进行定长编码，对任意ε>0,δ>0,只要KlogmH(X)2L则当L足够大时，必可使译码差错小于δ。反之当KlogmHX()22L译码必定出错。离散无失真信源编码定理变长编码定