大数据存储架构和算法研究综述

《大数据存储架构和算法研究综述》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。大数据存储架构和算法研究综述　　摘要：　　随着大数据计算需求的增长，集群的处理速度需要得到快速的提升，然而目前大数据处理框架的处理性能已逐渐满足不了这种快速增长的需求。由于集群的存储架构是分布式存储，因此数据的存放在大数据处理过程中成为影响集群的处理性能的因素之一。首先，对当今的分布式文件存储系统的结构进行了介绍；接着，根据不同的优化目标，例如减少网络负载、负载均衡、降低能耗和高容错性等，对近年国内外大数据存储算法的

2、研究进行了总结，分析和对比了已有算法的优点以及存在的问题；最后，对大数据存储架构和优化算法设计的挑战和未来研究方向作了展望。　　关键词：　　大数据；数据部署；分布式文件系统；MapReduce；Hadoop　　中图分类号：　　TP393　　文献标志码：A　　Abstract：　　Withthegrowingdemandofbigdatacomputing，theprocessingspeedoftheclusterneedstobeimprovedrapidly.However，theprocessingperformanceoftheexistingbigdataframeworkcann

3、otsatisfythe为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。requirementofthecomputingdevelopmentgradually.Astheframeworkofthestorageisdistributed，theplacementofdatat

4、obeprocessedhasbecomeoneofthekeyfactorsaffectingtheperformanceofthecluster.Firstly，thecurrentdistributedfilesystemstructurewasintroduced.Thenthepopulardataplacementalgorithmsweresummarizedandclassifiedaccordingtodifferentoptimizationgoals，suchasnetworkloadbalance，energysavingandfaulttolerance.Final

5、ly，futurechallengesandresearchdirectionsintheareaofstorageframeworkandalgorithmswerepresented.　　英文关键词Keywords：　　bigdata；dataplacement；distributedfilesystem；MapReduce；Hadoop　　0引言　　随着互联网的高速发展和迅速普及，我们已经进入了一个信息爆炸型的时代，大数据处理的需求正在迅速增加，在科学、工业、商业等领域，信息处理量达到TB级甚至PB级已是正常现象。因此，寻求优秀的大数据处理模型对于处理数据密集型应用是非常重要的。　　相

6、对于传统的数据，人们将大数据的特征总结为5个为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。V，即数据量大、速度快、类型多、难辨识和价值密度低[1]。数据量大仍可以靠扩展储存在一定程度上缓解，然而要求及时响应、数据多样性和数据不确定性是传统数据处理方法所不能解决的。　　为了应对这种

7、大数据所带来的困难和挑战，诸多大型互联网公司近几年推出了各种类型的大数据处理系统。XX年，Google公司提出的MapReduce编程模型是面向大数据处理技术的具体实现，在学术界和工业界引起了很大反响[1]。随后Apache基金会根据MapReduce模型开发出开源的大数据处理框架Hadoop在Yahoo！、IBM、百度等公司得到了大量的应用和快速的发展[2]。然而，作为一个新兴的技术，大数据处理技术在很多地