互联网发展前景：【技术分析】中国评测：大数据研究与应用

《互联网发展前景：【技术分析】中国评测：大数据研究与应用》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、【技术分析】中国评测：大数据研究与应用数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。1.2大数据定义目前，主流的大数据定义包括：(1)百度知道：大数据(bigdata),或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业

2、经营决策更积极目的的资讯。大数据的4V特点：Volume.Velocity>Variety>Veracityo(2)互联网周刊：大数据的概念远不止大量的数据(TB)和处理大量数据的技术，或者所谓的“4个V”之类的简单概念，而是涵盖了人们在大规模数据的基础上可以做的事情，而这些事情在小规模数据的基础上是无法实现的。换句话说，大数据让我们以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革Z力。(3)研究机构Gartner：大数据是需要新处理模式才能具有更强的决策力、洞察发现

3、力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，大数据指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范国和大小、迫使用户采用非传统处理方法的数据集。研发小组对大数据的定义：“大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱”。Kelly说：“大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极限时，也就是数据的极限”。大数据不是关于如何定义，最重要的

4、是如何使用。最人的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。(4)麦肯锡是研究大数据的先驱，在其报告《Bigdata:Thenextfrontierforinnovation,competition,andproductivity》中给出的大数据定义是：大数据指的是大小超岀常规的数据库工具获取、存储、管理和分析能力的数据集。但它同时强调，并不是说一定要超过特定TB值的数据集才能算是大数据。(5)国际数据

5、公司(IDC)从大数据的四个特征来定义，即海量的数据规模(Volume).快速的数据流转和动态的数据体系(Velocity)、多样的数据类型(Variety)>巨大的数据价值(Value)。(6)亚马逊(全球最大的电子商务公司)的大数据科学家JohnRauser给出了一个简单的定义：大数据是任何超过了一台计算机处理能力的数据量。(7)维基白科中只有短短的一句话：“巨量资料(bigdata),或称大数据，指的是所涉及的资料量规模巨大到无法通过冃前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积

6、极冃的的资讯”。上述定义，无一例外地都突出了“大”字。诚然“大”是大数据的一个重要特征，但远远不是全部。大数据是“在多样的或者大量数据屮，迅速获取信息的能力”。大数据的核心能力，是发现规律和预测未来。1.3大数据特点中国评测认为，要理解大数据这一概念,首先要从“大”入手「大”是指数据规模，大数据一般指在10TB规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Volume、Variety>Value和Velocity),即体量大、多样性、价值密度低、速度快。(1)数据体量巨大。从TB级別，

7、跃升到PB级別。(2)数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。(3)价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。(4)处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据來源或者承载的方式。大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。冃前所说的“大数据”不仅指数据本身的规模，也包

8、括采集数据的工具、平台和数据分析系统。大数据研发冃的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，人数据时代带來的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。2大数据相关技术2.1大数据技术(1)数据采集：负责将分布的、异构数据源中