大数据在互联网中的应用及其发展前景

《大数据在互联网中的应用及其发展前景》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大数据在互联网中的应用及其发展前景　　摘要：随着信息技术的飞速发展，使用互联网的人数越来越多，人们需要处理的数据日益增加。如何对大量的数据进行分析和归纳，并从杂乱无章的数据中发现其隐藏的特征和规律，从而被人们加以提炼和使用，这正是该文所要探讨的问题。该文以大数据的相关理论知识为背景，阐述了大数据在互联网中的实际应用及其发展前景。　　关键字：大数据；互联网；数据分析　　中图分类号：TP311文献标识码：A文章编号：1009-3044（2016）22-0006-03　　1前言　　在过去的几十年里，大数据这一术语正是产生在全球数据爆炸增长的背景下。大数据被挖掘的隐

2、藏价值则会给各个领域的发展带来新的机遇，然而同时也给数据的有效组织和管理的研究带来了新的挑战，无论涉及科学研究还是实际应用，大数据都将持续给我们的生活带来潜移默化的改变。　　在商业、经济及其他领域中，决策将渐渐基于数据和分析而作出，而不是根据经验和直觉。哈佛大学社会学教授加里?金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”8而根据大规模的数据增长，互联网的意义也越发重要，现在人们的生活与互联网息息相关，不知不觉中就提供了数据信息，如果这些信息被有效的提炼和分析，无论对商业还是生活都极具价

3、值。“大数据”时代已经降临。　　2大数据的内涵及关键技术　　2.1大数据的内涵　　在获取、存储、管理、分析方面，其范围大大超出了传统数据库软件能力范围的数据的集合。它具有数据规模大、数据流转快、数据类型多样和价值密度低四大特征。当然，不同行业的数据有不同的自身特点，还需要结合自身的行业知识才能把大数据转换为价值。　　2.2大数据的关键技术　　2.2.1分布式计算框架　　Google开发的一种简化的分布式编程模型和高效的任务调度模型是MapReduce，用于大规模数据集（>1TB）的并行运算，使云计算环境下的编程变得非常简单，用户按照自己熟悉的语言实现Map函

4、数和Reduce函数使用该编程模型，MapReduce算法框架会自动对任务进行划分以做到并行执行。　　2.2.2分布式文件系统　　基于云计算的大数据处理系统利用分布式存储的方式来保存数据，以保证高可用、高可靠和经济性，并用冗余存储的方式保证数据的可靠性。目前广泛使用的分布式文件系统是GFS，是由Google的GFS和Hadoop团队开发的，它可开源实现HDFS。HDFS即Hadoop分布式文件系统，它很适合那些有大数据集的应用，并且提供了数据读写的高吞吐率，同时它具有高容错性，可以被部署在低价的硬件设备之上。　　2.2.3实时流处理技术8　　随着互联网业务发

5、展的步伐，以及业务流程的复杂化，企业的注意力越来越集中在“数据流”而非“数据集”上面，他们需要的是能够处理随时发生的数据流的架构，数据流处理强调的是数据流的形式和实时，当MapReduce任务启动时，一般数据已经到位了，而流式计算系统在启动时，一般数据并没有完全到位，而是经过外部数据源源不断地输入，它重视的是降低数据处理的延迟，数据进入的越快，处理的就越好，结果就越有价值，这也是实时处理的价值所在。　　2.2.4云计算技术　　云计算技术的兴起有效地解决了由于海量不同类型碎片化数据的产生，常规的技术已经不能胜任PB级大规模数据的计算这一问题。云计算技术把大量分

6、散的数据从手机端、电脑端以及其他智能终端统统传送至云平台，再通过一个大规模的分布式系统加以计算和高效分析，从而提炼出富有价值的数据和信息。云计算技术可以说是处理海量数据成本最低和效率最高的解决方案。　　3大数据技术在互联网领域中的应用　　3.1电子商务　　国内外的电子商务巨头如淘宝、京东、亚马逊、沃尔玛等，在电子商务领域捭阖纵横，都是由于不断地利用大数据技术Hadoop。Hadoop是在电子商务领域中应用非常广泛的大数据技术。8　　利用大数据Hadoop技术对网络购物、网络消费、网络团购、网上支付等数据进行深度挖掘、深入分析，将可发现大量有价值的信息与统计规

7、律，对布局和推动今后中国互联网经济的健康有序发展、加强国家对该领域的宏观调控和监管等，均将产生积极的影响。　　电子商务的竞争在很大程度上就是大数据的竞争，经历了基于用户数量的时代、基于销量的时代，现在的电子商务已经处在基于数据的时代。近年来，淘宝、京东等网络零售第三方交易平台和电子商务网站上已经聚集了大量的经营者、消费者和商品服务，并因此而衍生出了大量的数据，电子商务企业通过对这些海量的数据进行收集、分析、整合，挖掘出对自己有用的信息，分析不同用户群体的特征，根据用户需求和兴趣在正确时间，给正确用户投放正确内容的广告，来保证营销的有效性。通过基本的人口统计信

8、息以及其潜在需求、购物行为、购物关注点等来挖掘相应的