从计数到大数据.doc-中国统计学会.doc

《从计数到大数据.doc-中国统计学会.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、统计：从计数到大数据□鲜祖德/文统计无时不在，从结绳记事到今天的大数据，统计作为人们认识客观世界的工具，也在不断创新，统计学作为一门系统研究数据的学科，在不断丰富与完善。大数据时代来临，统计如何应对新的挑战与机遇？我们回顾历史，不忘初心，以开放的态度、创新的精神和不懈的努力，继续前进，让统计在大数据的舞台上，发挥更大的作用。普遍的定义认为，统计学是关于数据的科学，研究如何收集数据，并科学地推断总体特征。普查作为最古老的数据收集方法，已经有数千年的历史，据记载，2200多年前的西汉时期，中国开展了第一次人口普查。

2、17世纪中叶，统计学诞生，并在18、19世纪不断发展，特别是与研究不确定性的概率论的结合，产生了现代意义上的统计学：数理统计学。1895年提出抽样调查方法并在后来30多年完善后，作为一种更及时、更经济的数据收集方法，被广泛应用于经济、社会、科学等各个领域。可以说，20世纪期间，传统的普查与新产生的抽样调查，作为两大数据收集方法体系，共同应用于对社会经济发展的测量，发挥了重要作用。　　21世纪大数据的出现，各种来源、各种形式的电子化数据的大爆发，静态的、定时的传统数据收集方法，面临新的、动态的、组合的大数据的挑战

3、和机遇，统计思维和数据收集方法也将不断创新。从统计学诞生的300多年的历程看，统计学发展的历史就是统计思维和统计方法不断创新的历史，这种创新是围绕着关于数据的两大核心问题展开的：如何收集数据和如何分析数据。本文通过回顾重要阶段性的几个片断，思考统计创新是如何发生的，重点谈大数据与统计的关系，以及会带来的新变化。　　计数：统计的萌芽在世界著名的科普著作《从一到无穷大》一书开头，讲述了一个发生在原始部落里的故事：两个匈牙利贵族决定做一次关于数的游戏——谁说出了最大的数谁就赢，第一个贵族说出了他能想到的最大的数“3”

4、，第二个贵族苦思冥想后，表示认输了，他想象不出比3更大的数。这个故事的真假无从考证，但可以说明在人们公认的以“结绳记事”为计数开始之前，数的大小概念已经产生。但由于还不能“计数”，甚至还不能将数的概念与10个指头相对应（这在今天相当于2岁孩子的水平），否则，第二个贵族会毫不犹豫地伸出双手说出10。计数是从结绳记事开始的，当然也可以用其他如石头、木棍、贝壳等，或者在地上、壁上划痕线等方式。这些是在文字发明之前，人们使用的记事和计数的方法。人类最早的统计实际上是一种计数活动，这在《易系辞下》中有所记载，古代印加人也

5、存有记载；从上古时代，就已经开始使用结绳的方法，“事大，大结其绳，事小，小结其绳，之多少，随物众寡”，也即根据事件的性质、规模或其数量的不同系不同的绳结，这种方法古老原始，却有效，对于古代人来说，这些大大小小的绳结、多多少少的划痕是他们回忆过去的唯一线索。随着生产活动、战争等的规模越来越大，结绳记事已经不能记事了，要么没有那么多绳，要么是对那些绳结的意义的解释（也就是今天的元数据的概念）需要更多的想象和更复杂的绳结，原始部落的首领们可以看到养了多少牛羊，甚至可以平均分配给每一个人，却无法记录下来。　　有了文字后

6、，计数才真正成为一种工具，反映客观经济活动及其数量关系。实际上，计数作为一种工具被人们接受后，原始的“普查”就诞生了，有多少人口，有多少土地，有多少俘虏，通过计数与汇总就可以心中有数。据考古发现，公元前3000年前，两河流域就已经有了这样的数据和汇总计算的符号。当然，这与其说是“普查”，更应该说是“计数”，但其产生的意义是非常重大的，就像恩格斯说的，“为了计数，不仅要有可以计数的对象，还要有一种在考察对象时，撇开对象的其他一切特性而仅仅考虑到数字的能力”，这也就是抽象的数字的概念，实物的多少与数的对应关系的确立

7、，并建立了运算规则，为统计学的诞生与发展奠定了基础，这也是统计的萌芽，充分表明了客观世界就是一个“数及数的关系的和谐系统”。　　数的游戏：概率计算关于数的游戏自古就有，而这些游戏主要就是赌博：不确定性带来的收益。不管是抽签、还是投掷钱币、掷骰子、斗纸牌，各种不同形式的以“不确定性”为基础的赌博，实际上都是“数”的游戏，这当然也开始引起了学者们的注意和研究。到了15世纪的欧洲，赌博游戏非常流行。最早研究赌博问题的是1477年出版的意大利诗人但丁的《神曲》一书的注释本，描述了投掷三颗骰子可能出现的各种点数问题。从1

8、6世纪中叶开始，学者们开始研究赌博中的概率问题。意大利人加尔达偌（1501-1576）是一位数学家，也是一个精明的赌徒，他写的《机会游戏》一书，是在他去世近100年后才出版的。他计算了投掷2颗或者3颗骰子时，究竟有多少种可能性得出投掷的骰子面朝上的数字之和为某一数（比如10），这在当时对排列组合所知甚微的情况下，是非常难得的。意大利天文学家伽利略（1564-1642）研究了同样的问题，