基于云计算的大数据分析相关问题探讨-论文.pdf

《基于云计算的大数据分析相关问题探讨-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第30卷第1期齐鲁师范学院学报Vo1．30No．12015年2月JournalofQiluNormalUniversiFeb．2015基于云计算的大数据分析相关问题探讨郭思亮宋廷山刁艳华(1．齐鲁师范学院经济与管理学院，山东济南250202；2．山东协和学院经管学院，山东济南250109)摘要：文章以云计算与大数据分析的结合这一热点问题为研究背景，首先分析了大数据背景下数据存储特点和面临的相关问题，进而介绍了大数据分析以及面I的挑战。在此基础上对基于云计算的大数据分析关键技术以及目前的解决方案进行了探讨，最后给出了大数据分析的发展趋

2、势及特点。关键词：云计算；大数据；大数据分析中图分类号：TP3文献标识码：A文章编号：2095—4735(2015)01—0134—06一、引言分析判断导出的信息是否可信。另外，大数据还近年来，数据量正以爆发式的速度在不断增要考虑存储和处理这些海量数据的成本。云计算长。这些数据中绝大部分来源于互联网，还有一的出现为这一问题的解决提供了较为可行的解决些是从其它渠道产生，如传感器、气象数据、交方案，因为它提供了一个同时满足成本效益和快通信息等。大数据面临很大的发展机遇，但也面速可量测的方案，为处理大数据提供了一个很好临诸多不可忽视的挑战

3、。大数据是一种大型的数的思路。但是，利用云计算进行大数据分析也同据集，如何存储这些数据集要明显区别于传统的样面临着像“如何分配这些数据密集型任务的云数据库，是一个值得研究的课题。这不仅是因为架构和云技术”等问题。它的绝对数据量之大，还因为它类型的多样性。本文将对云计算在大数据分析中的应用趋势它既有结构化数据，又有大量半结构化和非结构及相关问题进行研究，在对大数据相关问题进行化数据。对于快速增长的数据集来说，有必要去阐述的基础上，对大数据分析及其面临的挑战进分析那些由于时间敏感性得到最大价值的数据。行分析，进而探讨大数据分析与云计算的

4、结合问此外，因为大数据中包含了大量无效甚至错误的题，并给出现有的基于云计算的大数据分析解决数据，因此，还需要考虑数据的有效性，即通过方案及面临的困难，对基于云计算的大数据分析收稿日期：2014—10—20基金项目：全国统计科学研究计划重点项目“基于HADOOP云计算平台的分布式海量数据的统计分析研究”(编号：2012LZ05)，山东省人文社会科学课题(编号：14一ZZ—WH04)的阶段性研究成果。作者简介：郭思亮(1981一)，男，山东东平人，讲师；宋廷山(1962一)，男，山东海洋人，教授；刁艳华(1983一)，女，山东安丘人，讲

5、师。总第167期齐鲁师范学院学报提供一些启示。于键／值存储来说，这些包括在提供临时查询可二、大数据背景下的相关问题用功能以及提供持续保证的功能需要加强；对于在大数据背景下，首先需要考虑的就是数据相关系统来说，包括系统升级面临的挑战，要更的存储问题，传统的以关系数据库为基础的存储多的关注云资源的有效利用，特别是系统在云中技术和方法已无法满足数据大量以及多样化的存的负载平衡问题；最后，一个必须要面临主要挑储需求。对于存储大数据来说，分布式文件系统战是数据的安全和隐私保护问题，我们要考虑如是一个可能的解决方案。在数据分析的背景下，何提供一

6、个保护云中的数据安全和隐私的有效机分布式模型的优势一方面在于有效利用各集群节制。⋯。。’点的计算，另一方面，它提供了对任何数据进行随着数据集的不断增加，有必要以更快的速测量的可能。这类系统的一个最典型例子是在度来移动数据。目前的协议，如TCP，已显露出Apache的Hadoop项目中与Map／Reduce工具连接超过40Gbps下的速度性能问题，这些问题主要在一起的分布式文件系统。对于结构化和非结构涉及到CPU资源消耗的增加。Tierney等人提出化等结构多样的数据存储也是大数据存储面临的了一个远程直接内存访问(RDMA)的以太网协

7、一大挑战，议(ROCE)。_2J¨其结果表明，ROCE将利用这个问题的一个解决方法是通过NOSQL数更少的CPU提供超过40Gbps速度下的可量测据库来进行处理。NOSQL数据库是特有的非关性。其它的方法也已被研究用来管理数据，比如联和不提供SQL数据操作的一种数据库。NOSQL数据进入数据处理系统时，使用数据流管理系统可用于存储图表、文档和键／值等半结构化和非(DSMS)处理数据。DSMS的目的是减少收集无结构化类型的数据。数据操作通常包括三个功能：用的数据量，从而减少存储和处理的未来成本，插入、更新和删除，图表数据库通常适用于描

8、述此外还能在数据分析过程中更早的发现潜在的有网络拓扑结构或社会网络。文档导向数据库的数价值的信息和模式。【’据通常以JSON或XML的格式存储在文件中，这系统需要保持模块化，这样可以在需要的时些数据库没有刚性的模式，使得每个文档可以存