基于Hadoop的云计算与存储平台研究与实现.pdf

《基于Hadoop的云计算与存储平台研究与实现.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第35卷第8期四川兵工学报2014年8月【信息科学与控制工程】doi：10．11809／scbgxb2014．08．027基于Hadoop的云计算与存储平台研究与实现唐世庆，李云龙，田凤明，胡海荣(1．装甲兵工程学院信息工程系，北京100072；2．65571部队保障部，吉林四平136000)摘要：传统数据计算与存储成本高，并行程序编写困难，针对该问题，在综述Hadoop核心技术的基础上，利用Hadoop分布式处理技术和虚拟化技术设计、搭建了云数据计算与存储集群平台，实验证明，此平台与传统单机计算方式以及物理机集群计算方式相比具有较高性能，同时资源利用率也得到了提高。关键词：Had

2、oop；云计算；云存储；虚拟化技术本文引用格式：唐世庆，李云龙，田凤明，等．基于Hadoop的云计算与存储平台研究与实现[J]．四川兵工学报，2014(8)：97—100．中图分类号：TP391文献标识码：A文章编号：1006—0707(2014)08—0097—04ResearchonCloudComputingandStoragePlatformBasedonHadoopanditsImplementationTANGShi—qing，LIYun—long，TIANFeng—ming，HUHai．rong(1．DepartmentofInformationEngineering

3、，AcademyofArmoredForceEngineering，Beijing100072，China；2．TheSecurityDepartmentofthe65571Army，Siping136000，China)Abstract：Thecostofthetraditionalcalculationandstorageisveryhigh，andtheparallelprogrammingisverydificulttobeprogrammed．Tosolvethequestion，aftertellingaboutthecoretechnologiesofHadoop，t

4、hispaperusedthedistributedtechnologyandvirtualtechnologytobuildacomputingandstorageplatformofclouddata．Finally，theexperimentalresultshowsthat，theplatformhasthehighperformance，mean-while，thecoeficientofphysicalresourceutilizationhasbeenimprovedcomparingtothetraditionalcon．putingwayofsinglecompu

5、terandmulti—nodephysicalcomputers．Keywords：Hadoop；cloudcomputing；cloudstorage；virtualtechnologyCitationformat：TANGShi—qing，LIYun—long，TIANFeng—ming，eta1．ResearchonCloudComputingandStoragePlatformBasedonHadoopanditsImplementation[J]．JournalofSichuanOrdnance，2014(8)：97—100．随着互联网技术的发展，数字信息正在成指数增加

6、，根径，本文将在综述Hadoop核心技术：HDFS和MapReduce基据InternetDataCenter发布的DigitalUniverse报告显示，在未础上，利用VMware虚拟机搭建一个基于Hadoop分布式技术来8年中所产生的数据量将达到40ZB，相当于每人产生5的高效、易扩展的云数据计算与存储平台，并通过实验验证200G的数据，如何高效地计算和存储这些海量数据成为分布式计算与存储的优势。互联网企业所要面对的挑战。传统的大规模数据处理大多采用并行计算、网格计算、分布式高性能计算等，耗费昂贵的1Hadoop及其相关技术存储与计算资源，而且对于大规模数据计算任务的有效分配和

7、数据合理分割都需要复杂的编程才可以实现J。基于Hadoop是并行技术、分布式技术和网格计算技术发展Hadoop分布式云平台的出现成为解决此类问题的良好途的产物，是一种为适应大规模数据计算和存储而发展起来的收稿日期：2014—04—06基金项目：军队科研计划项目。作者简介：唐世庆(1965一)，男，硕士，副教授，主要从事指挥信息系统研究。98四川兵工学报http：／／scbg．qks．cqut．edu．cn／模型架构。Hadoop是Apache公司旗下的一个分布式计算和