资源描述：
《信息论复习ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息论（复习）信源编码信道编码信道信道译码信源译码信源信宿ULCMXNYNCM’VL’噪声通信系统模型信源编/解码：有效性，去除冗余。信道编/解码：可靠性，添加冗余。信息与通信系统各部分描述与度量（基本概念）信息与通信系统的优化（基本定理）§1:通信系统各部分描述与度量一、信源基本参量无失真信源的描述与度量限失真信源的描述与度量二、信道描述信道三要素信道描述信道度量三、信宿四、编译码五、通信系统§1:通信系统各部分描述与度量一、信源U基本参量取值空间（集合）:UL=U×U×…×U（L维）其中每一个:U={1,2,…
2、n},n种取值信源输出:UL=(U1…Ul…UL)输出样值:uL=(u1…ul…uL)其中uL∈U={1,2,…,n}对应概率:pUL(uL)=p(u1…ul…uL)§1:通信系统各部分描述与度量无失真信源描述与度量:描述定义:U=[UL,p(uL)]对于单个离散消息即L=1时可简化为:U=[U,p(u)]无失真信源度量:定义:§1:通信系统各部分描述与度量限失真信源描述与度量:1、描述:先定义失真函数:d(uL,vL)：UL×VL----->d(u,v)：U×V----->则有:U={[UL,p(uL)],[UL
3、×VL,d(uL,vL)]}U={[U,p(u)],[U×V,d(u,v)]}§1:通信系统各部分描述与度量2、度量:定义一个限失真的信息率失真函数R(D)来代替无失真时的信源熵H(U).为了简化，仅讨论单个消息情况:首先给出信源（宿）的最大允许失真率D,在定义失真为D时，条件转移概率的变化范围PD。然后定义:其中I(U;V)为U,V间的互信息§1:通信系统各部分描述与度量二、信道C描述信道的三要素:信道输入集合:（n维）且（有限），为单消息取值数。信道输出集合:（n维）且（有限），为单消息取值数。信道转移概率:其
4、中§1:通信系统各部分描述与度量信道描述如下:----->信道-----〉输入输出定义：信道度量：定义信道容量值如下：（这里为了简化，仅定义单消息（n＝1）的信道）§1:通信系统各部分描述与度量三、信宿V它的描述完全类似于信源。其度量：无失真用互信息表示，限失真时用函数表示。§1:通信系统各部分描述与度量四、编、译码码：在数学上可看作是一种映射；在物理上可看作是一种变换。即——编码——译码这里由于、、、均为有限值，故可仅讨论有限空间上的映射。若选即为二元有限域，则称上述码为二元码。§1:通信系统各部分描述与度量变换
5、：根据通信系统主要技术指标数量指标——通信有效性质量指标——通信可靠性（这里只考虑抗自然干扰的可靠性，不考虑抗人为干扰的安全性）由这两个指标可进一步将编译码分解为二个子变换：其中为有效性的信源编译码；为可靠性的信道编译码。另外，根据需要也还可划分更多的子变换。§1:通信系统各部分描述与度量差错准则为了定量分析度量编译码的好坏。我们引入码（f,g）的误差函数e（f,g）:e（f,g）p{g[f(ul)]≠ul}并给出下列准则：1〉无失真准则：e(f,g)=0即:p{g[f(ul)]=ul}=1或：p{g[f(ul)]
6、≠ul}=02〉误差准则：，即：或：3〉平均误差准则：，即：或：§1:通信系统各部分描述与度量三个准则中，无失真准则最强，平均误差准则最弱。信息论中无失真信源编码定理采用无失真准则.限失真信源编码定理以及信道编码定理都采用平均误差准则。§1:通信系统各部分描述与度量五、通信系统描述当已知信源U,信宿V,信道C以及编译码(f,g)时，可给出一个确知的通信系统S：S={U,V,C,(fi,gi)}i=1,2,并可分别表示有效（i=1）、可靠（i=2）的单指标优化系统。通信系统统计特性可表示为p(S)=p(ul)p(xn
7、/ul)p(yn/xn)p(vl/yn)§1:通信系统各部分描述与度量如果编译码方式给定，即1,当xn=f(ul)f=0,其它1,当ul=g(yn)g=0,其它这时，p(s)=p(ul)·f·p(yn/xn)·g=p(ul)·p(yn/xn)§2:信息与通信系统的优化系统参量的分类系统优化的实质无失真信源编码定理限失真信源编码定理信道编码定理§2:信息与通信系统的优化一、系统参量的分类客观参量：它是由信源、信道、信宿本身的客观统计特性所决定的，比如无失真信源的信息熵：H(U)限失真信源的信息率失真函数：R(D)信道
8、容量：C、C(F)信宿可获得的信息量：I(U,V)§2:信息与通信系统的优化主观要求的参量：它是人为给定与主观要求的，比如通信系统的实际传输速率：R信宿的最大允许失真：D信道受限时总代价：F§2:信息与通信系统的优化二、系统优化的实质就是要研究系统在不同优化指标下，两类参量（主、客观）之间的统计匹配与匹配的条件。优化的目标：对无失真信源系统传输最有效对限失真
