离散无记忆的扩展信源.ppt

《离散无记忆的扩展信源.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2.4离散无记忆的扩展信源2.4.1单符号离散无记忆信源信源的符号集，每个符号的发生概率为，信源每次发出一个符号，且符号发生的概率相互独立，称为单符号离散无记忆信源，简称离散无记忆信源。2.4离散无记忆的扩展信源2.4.2离散无记忆信源的扩展信源1、离散无记忆二进制信源的二次扩展信源二次扩展信源扩展后的信源符号集合新概率的计算举例：2.4离散无记忆的扩展信源2、离散无记忆二进制信源的三次扩展信源三次扩展信源扩展后的信源符号集合新概率的计算举例:2.4离散无记忆的扩展信源3、任意进制离散无记忆信源的N次扩展信源其中：N次扩展信源2.4离散无记忆的扩

2、展信源4、离散无记忆信源X的N次扩展信源设离散无记忆信源，其样本空间为，用一组长度为的序列表示其输出消息序列。此时，将输出序列等效为一个新的信源，用维离散随机矢量来描述，记作，则称组成的新信源为离散无记忆信源的次扩展信源。其中，每个分量都是随机变量，它们都取决于同一信源，并且分量之间统计独立。用重空间描述离散无记忆信源的次扩展信源，记为。2.4离散无记忆的扩展信源设一个离散无记忆信源的概率空间为:则信源X的N次扩展信源XN是具有qN个符号的离散信源，其中N重概率空间为上式中，每个符号是对应于某一个由N个组成的序列。的概率是对应N个组成的序列概率。

3、2.4离散无记忆的扩展信源因为是无记忆的（彼此统计独立），若则其中又而2.4离散无记忆的扩展信源上式表明离散无记忆信源的次扩展信源的概率空间也是完备集。根据信息熵的定义，次扩展信源熵可以证明离散无记忆信源的次扩展信源的熵等于信源的熵值的倍，即：2.4离散无记忆的扩展信源证明:设是概率空间的一个符号，对应于由N个组成的序列2.4离散无记忆的扩展信源因为：所以：故：先考察其中一项2.4离散无记忆的扩展信源例2.6求离散无记忆信源的二次扩展信源及其熵。解：二次扩展信源的概率空间为X2123456789序列a1a1a1a2a1a3a2a

4、1a2a2a2a3a3a1a3a2a3a3P(i)1/41/81/81/81/161/161/81/161/162.4离散无记忆的扩展信源上式可直观的理解，扩展信源的每一个输出符号是由个组成的序列，且序列中前后符号是统计独立现已知每个信源符号含有的平均自信息量为，则个组成的平稳无记忆序列平均含有的自信息量为，所以信源每个输出符号含有的平均自信息量为。