信息论与编码英文课件 例题

《信息论与编码英文课件 例题》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、u离散平稳无记忆信源X的N次扩展信源的熵为离散信源X的熵的N倍。证明：求和是对信源中所有个元素求和，可以等效成N个求和，而其中的每一个又是对X中的n个元素求和，所以有：则共有N项，考察其中第一项因为所以同理其余各项均等于H(X)故有：[例2.2.1]有一离散平稳无记忆信源，求此信源的二次扩展信源的熵。先求出此离散平稳无记忆信源的二次扩展信源。扩展信源的每个元素是信源X的输出长度为2的消息序列。由于扩展信源是无记忆的，故信源的元素对应的消息序列概率根据熵的定义，二次扩展信源的熵为结论：计算扩展信源的熵时，不必构造新的信源，可直接从原信源X的熵导出。即离散平稳无记忆信

2、源X的N次扩展信源的熵为离散信源X的熵的N倍。思考如何从熵的可加性来理解此结论？？？u思考证明二维离散有记忆信源的熵不大于二维平稳无记忆信源的熵？[例2.2.2]设某二维离散信源X=的原始信源X的信源模型为，X=中前后两个符号的条件概率为7/92/901/83/41/802/119/11原始信源的熵为：由条件概率确定的条件熵为：条件熵比信源熵（无条件熵）减少了0.672bit/symbol,正是由于符号之间的依赖性所造成的。信源X=平均每发一个消息所能提供的信息量，即联合熵则每一个信源符号所提供的平均信息量小于信源X所提供的平均信息量H(X)，这同样是由于符号之间

3、的统计相关性所引起的。u将二维离散平稳有记忆信源推广到N维情况，可证证明：则表明：多符号离散平稳有记忆信源X的熵H(X)是X中起始时刻随机变量X1的熵与各阶条件熵之和。思考：证明结论？？？总结：多符号离散平稳信源实际上就是原始信源在不断地发出符号，符号之间的统计关联关系也并不限于长度N之内，而是伸向无穷远。所以要研究实际信源，必须求出信源的极限熵，才能确切地表达多符号离散平稳有记忆信源平均每发一个符号提供的信息量。问题的关键在于极限熵是否存在？当离散有记忆信源是平稳信源时，从数学上可以证明，极限熵是存在的，且等于关联长度时，条件熵的极限值。极限熵代表了一般离散平稳

4、有记忆信源平均每发一个符号提供的信息。u马尔可夫信源在许多信源的输出序列中，符号之间的依赖关系是有限的。也就是说，任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关。这类信源输出符号时不仅与符号集有关，还与信源的状态有关。设一般信源所处的状态，在每一状态下可能输出的符号。并认为每一时刻信源发出一个符号后，所处的状态将发生转移。信源输出的随机符号序列为信源所处的随机状态序列为在第时刻，信源处于状态时，输出符号的概率给定为。另假设信源在时刻处于状态，下一时刻转移到的状态转移概率为…(1)可见，信源的随机状态序列服从马尔科夫链。式(1)

5、的条件概率称为马氏链在时刻的状态一步转移概率，一般情况下，状态转移概率和已知状态下符号发生的概率均与时刻有关。若这些概率与时刻无关，即满足则称为时齐的或齐次的。此时的信源状态序列服从时齐马尔可夫链。若信源输出的符号和所处的状态满足下列条件，则称为马尔可夫信源：（1）某一时刻信源符号的输出只与此刻信源所处的状态有关，与以前的状态和以前的输出符号都无关。即…(2)当具有时齐性，有…(3)（2）信源某时刻所处的状态由当前的输出符号和前一时刻信源的状态唯一确定。即…(4)此条件表明，若信源处于某一状态，当它发出一个符号后，所处的状态就变了。状态的转移依赖于发出的信源符号，

6、因此任何时刻信源处在什么状态完全由前一时刻的状态和发出的符号决定。又因为条件概率已给定，所以状态的转移满足一定的概率分布，并可求出状态的一步转移概率。这种信源的状态序列在数学上可以作为时齐马尔可夫链来处理。故可用马尔可夫链的状态转移图来描述信源。在状态转移图上，每个圆圈代表一种状态，状态之间的有向线代表某一状态向另一状态的转移。有向线一侧的符号和数字分别代表发出的符号和条件概率。[例2.2.3]设信源符号，信源所处的状态。各状态之间的转移情况由下图给出。将图中信源在状态下发符号的条件概率用矩阵表示为由矩阵可明显看出，。另从图中还可得所以信源满足式(4)由图还可得状

7、态的进一步转移概率该信源满足式(2)-(4)，所以是马尔可夫信源，并且是时齐的马尔可夫信源。一般有记忆信源发出的是有关联性的各符号构成的整体消息,即发出的是符号序列,并用符号间的联合概率描述这种关联性。马尔可夫信源的不同之处在于它用符号之间的转移概率(条件概率)来描述这种关系。换句话说,马尔可夫信源是以转移概率发出每个信源信号。转移概率的大小取决于它与前面符号之间的关联性。对m阶有记忆离散信源，它在任何时刻,符号发出的概率只与前面m个符号有关，我们把这m个符号看做信源在时刻的状态。因为原始信源符号集共有n个符号，则有记忆信源可以有个不同的状态，分别对应于个长度为m

8、的序列。这