信息论基础new

《信息论基础new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、《信息论基础》ElementsofInformationTheory第一次读书会第一章、第二章主讲：Jake为何要读此书？感兴趣的主要章节和顺序基础信息论模块1、绪论与概论；2、熵、相对熵与互信息；5、数据压缩；7、信道容量；9、高斯信道；10、率失真理论；13、通用信源编码；14、科尔莫戈罗夫复杂度；15、网络信息论感兴趣的主要章节和顺序概率论与数理统计模块3、渐近均分性；4、随机过程的熵率；8、微分熵；11、信息论与统计学；12、最大熵；17、信息论中的不等式感兴趣的主要章节和顺序博弈论模块6、博弈与数据压缩；16、信息论与投资组合理论建议顺序第一次：1

2、、2；第二次：3；第三次：5第四次：7第五次：14(参考文献[1])第六次：6、16此谓第一期（计划到2013二月份）建议顺序第七次：4+参考文献[2]第八次：11第九次：11+参考文献[3]或[4]第十次：12+参考文献[5]或[6]第十一次：6第十二次：16此谓第二期（时间将视情况而定）参考文献[1],OnuniversalityofZipfLaw[2],Leasteffortandtheoriginsofscalinginhumanlanguage[3],SciencefromFisherInformation–Aunificatio

3、n[4],MethodsofInformationGeometry[5],Nonadditiveentropyandnonextensivestatisticalmechanics-Anoverviewafter20years[6],Maximumentropyandthestate-variableapproach第一章、绪论与概览信息论的核心：临界数据压缩的值（熵）和临界通信传输速率的值（信道容量C）第一章、绪论与概览信息论与概率论概率与各种信息量的关系概率分布：单变量分布、双变量分布、条件概率分布信息量（熵）：Shannon熵、互信息、条件熵信息量是

4、对概率分布弥散性质的一种平均描述新的观点：Informationtheorymustprecedeprobabilitytheoryandnotbebasedonit.---A.N.Kolmogorov信息论与计算机科学Kolmogrov复杂度一个数据段的复杂度可以定义为计算该数据串所需的最短二进制程序的长度。如果序列服从熵为H的分布，则它的复杂度C近似为Shannon熵H算法复杂度与计算复杂度二者之间的互补关系：热力学与信息论dSdQ/T卡诺热机克劳修斯熵reversible玻尔兹曼熵SlnW玻尔兹曼的H定理，第一次提出了熵的现代表达式：H

5、p(x)logp(x)吉布斯将统计力学中的熵统一形式Shannon熵E.T.Jaynes的统计物理科学的哲学观奥克姆剃刀原理：“因不宜超出果之所需”Solomonoff和Chaitin猜想：谁能获得适合处理数据的所有程序的加权组合，并能观察到下一步的输出值，谁就能得到万能的预测程序。当然，这样的程序及其不切实际，因为清除所有不适合生成现有数据的程序需要花费的时间是不可接受的何为好的科学理论：利用尽可能少的输入信息，能够得到最多的输出信息的模型。信息论与经济学（投资）最优投资第一原理：不要把鸡蛋放到同一个篮子里这就是熵原理，如果把分在一个篮子里的鸡

6、蛋比例看作概率，那么最大化熵就得到最合理的投资组合。赛马问题：有n匹马，每匹马获胜的概率为pi，那么你应该如何持续地对这n匹马下注？答案是，你下注在第i匹马上的赌资比例为：-log(pi)信息论与复杂系统信息论为“老三论”的重要分支生命是横跨在物质与信息边界上的系统复杂系统的研究应该奠定在现代信息论基础之上信息力统计标度律与信息论第二章：熵、相对熵与互信息信源观察者信源发射信号（字母），信号的可能集合为：{a1,a2,..,an}每一个元素出现的概率{p1,p2,…,pn}那么，定义第i个元素所包含的信息量为-log(pi)则，信源所容纳的信息为所有n

7、个元素的平均信息量IE(I)pIplog(p)iiiiiii最短描述长度信源观察者信源发射信号（字母），信号的可能集合为：{a1,a2,..,an}每一个元素出现的概率{p1,p2,…,pn}用二进制串给这个信源编码，例如：a100,a201,a310,a411但是这种编码不经济（描述该信源的一串信号的编码长度比较长），因为它们出现的概率不相等。应该让每个字母编码的长度正比于它出现的概率的相反数：li=-log(pi)最短的编码长度就是Shannon熵参见P8页，以及第5章如何理解Shanno