离散信道容量.ppt

《离散信道容量.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、4.1互信息和平均互信息4.1.1单符号离散信道的数学模型信源X信宿Y有扰信道C干扰源N离散信源X的数学模型为14.1互信息和平均互信息4.1.1单符号离散信道的数学模型信宿Y的数学模型为24.1互信息和平均互信息4.1.1单符号离散信道的数学模型信道模型的表示方法公式法图示法矩阵法34.1互信息和平均互信息4.1.2互信息量及其性质根据前面的信道的数学模型：如果信道是理想的，发出ai收到ai则所获得的信息量＝ai的不确定度＝I(ai)；如果信道不理想，发出ai收到bj,由bj推测ai的概率，一、定义1：我们将从bj中获取有关ai的信息量称为互信息量44.1.

2、2互信息量及其性质一、互信息量的定义继续讨论第二章的例题，即某地二月份天气构成的信源为“今天不是晴天”作为收到的信息b1，计算b1与各天气之间的互信息量。54.1.2互信息量及其性质一、互信息量的定义2将互信息表达式展开得：同样道理，我们可以定义ai对bj的互信息量为6通信前先验不定度（联合自信息量）发送接收4.1.2互信息量及其性质一、互信息量的定义37后验不定度一、互信息量的定义3发送接收4.1.2互信息量及其性质通信后8这样，通信后流经信道的信息量，等于通信前后不定度的差4.1.2互信息量及其性质一、互信息量的定义394.1.2互信息量及其性质二、互信息

3、量的性质对称性当X和Y相互独立时，互信息为012104.1.2互信息量及其性质二、互信息量的性质互信息量可为正值或负值3互信息量为正，bj使ai的不确定度减小，上例中，“今天不是晴天”为0，二者相互独立，“今天我很高兴”为负，bj没有使ai的不确定度减小，“今天有风”。114.1.3平均互信息量及其性质一、信道疑义度研究信源中各个消息之间的关系124.1.2互信息量及其性质一、信道疑义度损失熵信道疑义度：含义：收到Y后关于X尚存的平均不确定性。性质：equivocation134.1.2互信息量及其性质二、平均互信息量的定义平均互信息互信息量在联合概率空间P(

4、XY)统计平均。平均交互信息量；交互熵144.1.2互信息量及其性质二、平均互信息量的定义计算时可用公式：154.1.2互信息量及其性质二、平均互信息量的定义平均交互信息量与几个测度函数辨析和和相同点：统计平均不同点：提供与获得164.1.2互信息量及其性质三、条件互信息和平均条件互信息给定X、Y、Z三个离散概论空间，其连接关系为：系统1系统2系统1XXYYZZ(a)(b)174.1.2互信息量及其性质练习：有两个硬币，一个正常硬币（一面是国徽，一面是面值），另一个是不正常的硬币（两面都是面值）。现随机抽取一次硬币，抛掷两次。问出现面值的次数对于硬币的识别能提

5、供多少信息量？184.1.2互信息量及其性质四、平均互信息量的性质非负性说明：信道每传递一条消息，总能提供一定的信息量。注：可正可负1>0,正常通信=0,通信中断<0,通信受干扰19极值性12四、平均互信息量的性质4.1.2互信息量及其性质202极值性2四、平均互信息量的性质4.1.2互信息量及其性质214.1.2互信息量及其性质四、平均互信息量的性质对称性3说明：从X中提取关于Y的信息量与由Y中提取到X的信息量是相同的，是信息流通的总体测度。224.1.2互信息量及其性质四、平均互信息量的性质234.1.2互信息量及其性质四、平均互信息量的性质凸函数性4上凸

6、函数1下凸函数2244.1.2互信息量及其性质凸函数性4定理1对于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函数这就是说，对于一定的信道转移概率分布p(y

7、x)，总可以找到某一个先验概率分布的信源X，使平均交互信息量I(X;Y)达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。可以说，不同的信道转移概率对应不同的Imax。信宿信道信源通信系统的简化模型噪声254.1.2互信息量及其性质凸函数性4定理2对于固定的信源，平均互信息I(X;Y)信道传递概率分布p(y

8、x)的下凸函数这就是说，对于一个已知先验概率为p的离散信源，总可以找到

9、某一个转移概率分布的信道q，使平均互信息量达到相应的最小值Imin。信宿信道信源通信系统的简化模型噪声264.1.2互信息量及其性质凸函数性—例题4例：对于二元对称信道如果信源分布X={p,1-p}，则qq10YX274.1.2互信息量及其性质凸函数性4而：所以：当信道固定时，q为一个固定常数，平均互信息是信源分布的上凸函数，最大只为1-H(q)。图示曲线表明，对于固定信道，输入符号X的概率分布不同时，在接收端平均每个符号所获得的信息量就不同。当输入符号为等概率分布时，平均互信息量为最大值，接收每个符号所获得的信息量最大。信道容量的理论基础1-H(q)00.5

10、1pI(X;Y)284.1.2互信息量