资源描述：
《信源与信源熵1.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、信源与信息熵第二章12.1信源的描述和分类2.2离散信源熵和互信息2.3离散序列信源的熵2.4连续信源的熵和互信息2.5冗余度第二章信源与信源熵22.1信源的描述和分类2.1.1信源的描述与分类2.1.2无记忆信源2.1.3有记忆信源2.1.4马尔可夫信源3信源信源产生消息(符号)、消息序列和连续消息的来源信源的基本特性：具有随机不确定性。信源的表示方法：随机变量、随机矢量、随机过程。信源的分析方法：概率论、随机过程。4信源的分类按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类：离
2、散信源和连续信源。根据信源输出的信号之间是否有相关性，可将信源分成无记忆信源和有记忆信源两大类。5离散无记忆信源离散有记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源连续信源离散信源信源62.1信源的描述和分类2.1.1信源的描述与分类2.1.2无记忆信源2.1.3有记忆信源2.1.4马尔可夫信源7离散信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源8单符号离散无记忆信
3、源的描述一个离散信源发出的各个符号消息的集合为：它们的概率分别为单符号离散信源的数学模型—用一维离散随机变量X及它的概率测度p(xi)构成的概率空间来描述。p(ai)是ai的先验概率9例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。用一个离散型随机变量X表示骰子投掷的点数。10连续信源：输出在时间和幅度上都是连续分布的消息单符号连续无记忆信源的描述单符号连续无记忆信源的数学模型—用连续型随机变量X及其概率密度pX(x)构成的概率空间来描述。11符号序列离散无记忆信源的描述发出符号序列的离散无记忆信源数学模
4、型—用随机序列（或随机矢量）描述信源的输出，用联合概率分布表示信源特性。设信源输出的随机序列为X=(X1，X2，…Xl…XL)Xl∈{x1,x2,…xn}随机序列的联合概率12当信源无记忆时若序列的统计特性与时间推移无关，称为平稳随机序列。132.1信源的描述和分类2.1.1信源的描述与分类2.1.2无记忆信源2.1.3有记忆信源2.1.4马尔可夫信源14离散有记忆信源所发出的各个符号的概率是有关联的。2.1.3有记忆信源引入条件概率来反映信源发出的符合序列内各个符号之间的记忆特征。15概率论基础无条件概率、条件
5、概率、联合概率的性质和关系⑴⑵⑶16概率论基础无条件概率、条件概率、联合概率的性质和关系⑷⑸⑹17…二元序列三元序列L元序列182.1信源的描述和分类2.1.1信源的描述与分类2.1.2无记忆信源2.1.3有记忆信源2.1.4马尔可夫信源192.1.4马尔可夫信源马尔可夫信源一类相对简单的离散平稳信源该信源在某一时刻发出字母的概率除与该字母有关外,只与此前发出的有限个字母有关m阶马尔可夫信源：信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。20条件概率联合概率21马氏链的基本概念令si=(xi
6、1,xi2,…xim)xi1,,xi2,…xim∈(a1,a2,…an)状态集S={s1,s2,…,sQ}Q=nm例：二元序列为…01011100…考虑m=2，Q=nm=22=4s1=00s2=01s3=10s4=11变换成对应的状态序列为…s2s2s4s1…22转移概率设信源在时刻m处于si状态,它在下一时刻(m+1)状态转移到sj的转移概率为：pij(m)=p{Sm+1=sj
7、Sm=si}=p{sj
8、si}pij(m)：基本转移概率（一步转移概率）若pij(m)与m的取值无关,则称为齐次马尔可夫链pij=p{
9、Sm+1=sj
10、Sm=si}=p{S2=sj
11、S1=si}pij具有下列性质：pij≥023系统在任一时刻可处于状态空间S={s1,s2,…,sQ}中的任意一个状态,状态转移时,状态转移概率矩阵符号条件概率矩阵问题：概率p{sj
12、si}与p{xj
13、si}有何不同？24K步转移概率k步状态转移概率pij(k)=p{Sm+k=sj
14、Sm=si}i,j∈S由切普曼-柯尔莫哥洛夫方程得经过推导25马尔可夫信源状态转移图齐次马尔可夫链可以用其状态转移图(香农线图)表示每个圆圈代表一种状态状态之间的有向线代表某一状态向另一状
15、态的转移有向线一侧的符号和数字分别代表发出的符号和条件概率sos11/0.60/0.30/0.4s21/0.20/0.81/0.726马尔可夫信源非周期的对于pij(k)＞0的所有k值，其最大公约数为1。常返态经有限步后迟早要返回的状态，遍历状态非周期的、常返的状态不可约的从某一状态si开始总有可能到达状态sj，即存在k使pij(k)＞027s3s2s4s5s1s6周期性
