大数据、云计算与云gis研究发展现状-20151221

《大数据、云计算与云gis研究发展现状-20151221》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、大数据、云计算与云GIS研究发展现状1大数据(1)定义迄今为止，对于“大数据”(Bigdata)无论从学术界、产业界都尚未形成统一成熟的定义。简单來讲，可以看作是人们为了面对“信息爆炸”的现实挑战与机遇所需的一项数据分析前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。从产业

2、界看，大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。大数据需要特殊的数据分析计算技术，以快速有效地处理大量数据并分析得出有价值的信息或知识，包括大规模并行处理(

3、MPP)数据库、机器学习、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统等。(2)特点大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。《计算机学报》刊登的“架构大数据：挑战、现状与展望”一文列举了大数据分析平台需要具备的几个重耍特性，对当前的主流实现平台——并行数据库、MapReduce及基于两者的混合架构进行了分析归纳，指出了各口的优势及不足，同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍，对未来研究做了展望。大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到P

4、B级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，处理速度快，1秒定律，可从各种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。第四，只要合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。业界将其归纳为4个“V”Volume（数据体量大）、Variety（数据类型繁多）、Velocity（处理速度快）、Value（价值密度低）。（3）发展现状继“物联网”、“云计算”之后，2012年始，“大数据”一词被越来越多地提及。2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据

5、研究和发展计划"（BigDataResearchandDevelopmentInitiative）,这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油”，将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制也将成为国家间和企业间新的争夺焦点。谷歌公司通过大规模集群和MapReduce软件，每个月处理的数据量超过400PB；百度每天大约要处理几十PB数据；Facebook注册用户超过10亿，每月

6、上传的照片超过10亿张，每天生成300TB以上的日志数据；淘宝网会员超过3.7亿，在线商品超过8.8亿，每天交易数千万笔，产生约20TB数据；雅虎的总存储容量超过100PBO近年来大数据的飙升主要述是来口人们的日常生活，特别是互联网公司的服务。据IDC（InternetDataCenter）统计，2011年全球被创建和复制的数据总量为1.8ZB,其屮75%来自于个人（主要是图片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量（200PB）o基因组学、蛋白组学、天体物理学和脑科学等都是以数据为中心的学科，这些领域的基础研究产生的数据越来越多。例

7、如，用电子显微镜重建大脑中的突触网络，1mm3大脑的图像数据就超过1PB。传感网和物联网的蓬勃发展是大数据的又一推动力，各个城市的视频监控每时每刻都在采集巨量的流媒体数据。工业设备的监控也是大数据的重要来源，例如，劳斯莱斯公司对全世界数以万计的飞机引擎进行实时监控，每年传送PB量级的数据。由于犬数据技术巨大的产业价值和应用潜力，并且信息爆炸已经成为一种不可逆转的吋代潮流，大数据技术引起了政府、产业界和学术界的高度重视甚至到了火热的程度。图错误！文档中没有指定样式的文字。当前国际上大数据领域的研究范畴是南京大学信息管理学院2014年9月全面采集国际核心期

8、刊数据库中“大数据”相关文献分析给出的最新统计分析结果。研究发现，当前国际大数据研究可分为算法