iaas云计算环境下并行处理技术的研究

《iaas云计算环境下并行处理技术的研究》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

IaaS云计算环境下并行处理技术的研究陈舒福建警察学院计算机与信息安全管理系在基础设施作为一种服务(Infrastrueture-as-a-Service,IaaS)云计算环境下，计算资源以祖赁形式提供给远端客户，一个云用户可以同时请求多个云服务。这种情况下，云环境下的并行处理能够提高其系统性能。在云计算环境屮应用并行处理技术时，需要实现合理的资源分配和任务执行顺序安排机制。该文就目前W内外的和关机制和技术进行整理和分析。关键词：基础设施作为一种服务;云计算;并行处理;ResearchonParallelProcessingTechnologyinIaaSCloudComputingEnvironmentCHENShuDepartmentofComputerandInformationSecurityManagement，FujianPoliceAcademy;Abstract：InInfrastrueture-as-a-Service(IaaS)cloudcomputingenvironment,computingresourcesareleasedtoremoteclients,andacloudusercanrequestmultiplecloudservicesatthesametime.Inthiscase,parallelprocessingincloudenvironmentcanimprovetheperformanceofthesystem.When applyingparallelprocessingtechnologyincloudcomputingenvironment,itisnecessarytoimplementreasonableresourceallocationandtaskexecutionschedulingmechanism.Inthispaper,therelevantmechanismsandtechnologiesathomeandabroadarecollatedandanalyzed.Keyword：IaaS;Cloudcomputing;Parallelprocessing;云计算是继20世纪80年代大型计算机到客户端-服务器的大转变之后，资源和服务分配的又一巨变。云计算屮，云是通过网络向远程用户提供按需计算资源或服务的一个分布式计算机群集U1。在基础设施作为一种服务（IaaS）的云中，资源或服务以租赁的形式提供给用户。依托于自由且高效的虚拟化解决方案，例如，Xen超级监督程序位1,用户可以安全地控制资源。TaaS云的优点之一是提供给最终用户的计算能力是灵活且高效的。亚马逊的弹性计算云屮虚拟机（VMs）以每小时10美分的价格租赁给用户。其中每个VM大概有1.2GHz0pteron处理器的计算能力，1.7GB内存和160GB磁盘空间。例如，当一个用户需要一定的磁盘空间来维护某个数据库一个刀，他可以从云中租用一定数量的虚拟机，使用一个月后再返还云中。这种情况下，用户使数据库维护费用减至最低。用户可以添加或删除云资源，以满足峰值或起伏不定的服务需求，只需为所使用的资源容量支付相应费用。1存在的问题随着云计算的日益普及，它被应用到生活中的各个方面位1。然而，现实社会中不存在具有无限容量的数据中心。因此，在大量的客户需求前提下，将数据中心某些溢出的工作负载转移到另一个数据屮心是必要的U1。这些工作负载共享可以发生在私有云和公共云之间，私有云之间或公共云之间。工作负载共享能够扩大资源池容量，并提供更灵活和便宜的资源。在多个云之间协作执行工作负载，监控和管理机制是一个关键组成部分，需要考虑其配置，调度，监控和故障管理m。传统的监控和管理机制是专为企业环境而设计的，特别是一个统一的环境。然而，人规模、异构资源供应的多数据屮心给资源管理和监控机制带来严峻的挑战。例如，OpenCirrus,一个云计算拭验台，由14个分布在世界外地，并且由不同领域管理的数据中心组成。每个数据中心独立管理至少1000个核位1，整个试验台是一个异构联合云系统。对监测和管理机制来说，在多数据中心环境下向客户提供不需要处理太多复杂问题的资源池，如资源异构和工作负载分配等，是非常重要的。云计算的虚拟化技术，如虚拟机，近年來已经社会各界进行深入研允。然而，在相关文献中，跨越多个异构数据中心的工作负载调度并没有得到很好的解决。大量大型数据集计算的应用程序运行在云系统上包1。这些“大数据”应用程序从信息源，如数字媒体库，虚拟世界，仿真轨迹，科学仪器获得的数据和企业的业务数据库获得数据。这些数据饥饿应用程序需要人量可扩展的汁算资源。幸 运的是，这些应用程序具有非常良好的并行计算性m。云计算屮使用"map/reduce"方法进行应用程序开发，大规模的批处理过程可以被划分为一组离散的和关处理进程，称之为任务。这些任务可以被并行执行，以提高响应时间XII。在联邦快递(FedEx)数据中心，需要四个小时的批处理过程，应用"map/reduce"方法之后，可以成功地将运行时间减少到20分钟U1。在执行这些可采用并行处理方式的任务时，需要考虑以下几个问题：(1)如何将资源分配给任务；(2)因为任务间有数据依赖关系，执行任务的顺序该如何安排；(3)当虚拟机准备接受、终止或切换任务吋，该如何进行费用管理。资源分配和调度可以解决以上三个问题。在高性能计算[8,9]和嵌入式系统[10,11]屮已经对资源分配和任务调度进行丫深入研究。然而，云数据屮心的高度自治性和资源笄质性UL以及虚拟技术的实现，在IaaS云计算中需要不同的资源分配和任务调度算法，特别是在联合异构多云系统中。2相应的工作近几年，云计算系统己经被进行广泛研究。许多公冇云也对客户和研究人员开放使用，如亚马逊的AWS[12]，GoGrid[13]和Rackspace[14]。其他一些公司也提供云服务，如微软[15]~7Hm[16],^^17]和HP[18]U^益于云计算的研究，许多组织提供开源云服务，如Eucalyptus[19],OpenNebula[20],Tashi[6],RESEV0IR[21]和OpenCirrus[22]oOpenCirrus是一个云计算试验台，它由14个分布在各地的数据屮心iH，从本质上讲，它是一个联合异构云系统。2.1数据密集型应用程序数据密集型应用程序是运行在云计算平台上的主耍应用类型。大多数的数据密集型应用程序可以通过MapReduce的编程模型进行建模。在MapReduce模型中，用户指定map函数和reduce函数，前者可以独立执行，后者收集前者的处理结果并产生最终的结果。运行吋，系统会自动将map函数并行化处理，并将它们合理分配到云系统屮。Apachelladoop是受MapReduce思想启发的一个流行框架，用于在S云系统中运行数据密集型应用程序。在Hadoop框架中，可靠性保证和数据迂移都是对用户透明的。MapReduce编程模型和Hadoop分布式文件系统是在开源Hadoop框架下实现的。All-pairs,一种高层次抽象化形式，使数据密集型应用程序易于表达II执行高效mi。等人，设计一种用来处理大规模数据密集型批处理应用程序的编程模型GridBatch魁。在GridBatch模型中，用户可以指定数据如何分割，并决定计算任务的分布情况，隐藏并行编程的复杂性。文献[26]设计一种动态分割模型来提高MapReduce平台的资源利用率。这个动态分割模型实现基于优先级的资源分配方法以及资源使用管道。文献［27］中通过软硬件的服务等级协议（SLA）对各种数据密集型服务调度方法 进行评估。但是，在异构多云平台环境下的工作负载调度问题在上述相关工作中并没有被考虑。2.2虚拟化技术虚拟化技术是云计算中一个重要组成部分。Emeneker等人提出一种图像缓存机制来减少虚拟机加载磁盘映像的能耗XM。Fallenbeck等人提出一种用动态方法创建虚拟集群，处理并行和串行工作之间的冲突m。这种方法在不运行时间预测前提下对工作负载进行自动调整。文献［36］利用挂起/恢复机制来提高物理资源的利用率，从而降低能耗。由于该文献所考虑的VM模型是同构的，所以该调度算法在异构虚拟机环境中是不适用的。2.3计算资源管理大量文献对云计算的计算资源管理进行深入研宄。为方便用户共同管理资源，CloudNet［50］通过企业物理主机提供虚拟私有云，并通过公共云对它们进行分配。计算密集型用户可以保留计算资源，根据自身需求特点创建自己的虚拟私有云［29-34］。然而，CloudNet专注于为企业用户提供安全到云端的链接，资源合理分配不是CloudNet的主要目标。以租赁为基础的体系结构［35,36］,被广泛用于为云用户提供保留资源。文献［35］中，应用程序可以通过租赁或票务方式来保留来自多个站点的一组资源。llaizeaXM支持尽力而为和提前预订两种租赁方式，这两种租赁方式的优先级是不同的，它们提高整个系统的利用率。这两篇文献的作业模型是批处理作业模型，这意味着每一个应用程序的调度都是独立的，任务间不存在数据依赖性。因此，这种方法不能在多数据中心之间“map/reduce”和并行处理。Wilde等人设il•一种分布式计算的脚本语言Swift［37］。Swift专注于大型独立计算任务的并发执行，组成和协调。Swift屮实现一种基于资源可用性的含自适应调度算法的工作负载平衡机制，设计了一种动态评分系统来对一个站点的负载承受能力提供经验估算。但是在Swift中，只有当站点执行工作出现故障时，其分值才会下降。因此，即使是“延迟但成功”地完成作业，也将导致该站点下一轮运行的估计完成时间较长。ReSS是Swift中的资源选择服务。但是，ReSS需要一个中央信息库，来收集来自不同节点或集群的信息。文献［38］中设计一种可以自动扩展其基础设施资源共享的系统，自适应管理器监视资源并自动给用户动态分配资源。然而，这种集中的方式不适合未来的多提供商云计算环境，因为不同的供应商不希望这样的集中化管理控制方式。文献［39］提出另一种资源共享方式，它是在不侵犯站点各自自主权前提下，可以在不同站点之间交换主机。数据屮心的主机代理负责本地数据屮心与其他数据屮心之间进行主机交易过程，这是一种多数据中心之间共享资源的分布式方法。但是,该文献没有考虑资源分配优化问题。 3结束语随着客户需求的激增，云计算正在迅速增长，在客户的需求不断扩大情况下，多个数据中心甚至多个云服务提供商之间共享工作负载是必要的。工作负载的共享能够扩大资源池，并提供更灵活和便宜的资源。但目前缺少一种适用于未來的多提供商，并且改善联合异构云系统性能的云系统，这将是我下一步研宂和探索的方向。[1]Germain-RenaudC，Rana0，Theconvergenceofclouds,grids,andautonomies.IEEEInternetComputing.vl3i6.9[2]SotomayorB，MonteroR,LlorenteI.etal.Virtualinfrastructuremanagementinprivateandhybridclouds.IEEEInternetComputing.vl3i5.14-22.[3].eecs.berkeley.cdu/Pubs/TcchRpts/2016/EECS-2016-28.pdf[4]P'orellT，MilojicicD，Tal'varV.Cloudmanagementchallengesandopportunities，in:IEEEInternationalSymposiumonParallelandDistributed，2011，pp.881-889.[5]Avetisyan八T，Campbel1R，GuptaMT，etal.OpenCirrusaglobalcloudcomputingtestbed.IEEEComputer.v43i4.35-43.[6]KozuchMA,RyanMP,GassR,etal.Cloudmanagementchallengesandopportunities,in:WorkshoponAutomatedcontrolfordatacentersandcloud,2009，pp.43-48.[7].gartner.it/content/1286700/1286717[8]FallenbeckN，Picht11，SmithM，etal.Xenandtheartofclusterscheduling，in:Proceedingsofthe2ndInternationalWorkshoponVirtualizationTechnologyinDistributedComputing，Tampa，Florida，USA，2006，p.4.[9]HuangH，WangL.acombinedpush-pullmodelforresourcemonitoringincloudcomputingenvironment，in:IEEEInternationalConferenceonCloudComputing,Miami,Florida,USA,2010，pp.260-266[10]RimalBP，ChoiE，LumbI.Ataxonomyandsurveyofcloudcomputingsystems，in:InternationalJointConferenceonINC，IMSandIDC，2009，pp.44-51. [1]Qiu,andSha,E.IL-M.,Costminimizationwhilesatisfyinghard/softtimingconstraintsforheterogeneousembeddedsystems.ACMTransactionsonDesignAutomationofElectronicSystems(TODAES).vl4i2.1-30.[2].gogrid.[3].rackspacecloud.[4].microsoft.en-us/cloud/[5].ibm.ibm/cloud/[6]-google-.fd.mylibs.:808/apps/intl/en/business/index.htmlXL[18].eucalyptus,[19].reservoir-fp7.eu[20]C.loretti，J.Bulosan，P.J.Thain，D.Flynn，All-pairs:anabstractionfordata-intensivecloudcomputing，in:IEEEInternationalSymposiumonParallelandDistributedProcessing，2008，pp.1-11.[21].reservoir-fp7.eu[22]Avetisyan，A.I.，Campbell，R.，Gupta，M.T.，lleath，I.，Ko，S.Y.andGanger，G.R.，OpenCirrusaglobalcloudcomputingtestbed.IEEEComputer.v43i4.3543.[23]Dean,J.andGhemawat,S.,MapReduce:simplifieddataprocessingonlargeclusters.CommunicationsoftheACM.v1.107-113.[24]A.Pavlo,E.Paulson,A.Rasin,D.J.Ababi，I).DeWitt,S.Madden,M.Stonebraker，Acomparisonofapproachestolarge-scaledataanalysis，in:SIGM0D，2009，pp.1-14.[][26]Wilde,M.,Hategan,M.,Wozniak,J.M.,Clifford,B.,Katz,D.S.andFoster,I.,Swift:alanguagefordistributedparallelscripting.ParallelComputing.v37i9.633-652.[27]Chi，ILJ.M.Y.andllacigumus,11.，Performanceevaluationofscheduling algorithmsfordatabaseserviceswithsoftandhardSLAs.In:InternationalWorkshoponDataIntensiveComputingintheClouds，pp.1-10.[26]W.Emeneker，D.Stanzione，Efficientvirtualmachinecachingindynamicvirtualclusters,in:SRMPDSWorkshopofInternationalConferenceonParallelandDistributedSystems，Hsinchu，Taiwan，2007.[27]Aron，1.，Druschel，P.andZwaenepoel，W.，Clusterreserves:amechanismforresourcemanagementinclusterbasednetworkservers.In:ProceedingsoftheACMSigmetrics，SantaClara，California，USA.[28]G.Garzoglio,T.Levshina,P.lhashilkar，S.Timm，ReSS:aresourceselectionservicefortheopensciencegrid,in:InternationalSymposiumonGridComputing，2007，pp.1-10.[29]J.S.Chase,D.E.Irwin，L.E.Grit，J.D.Moore,S.Sprenkle，Dynamicvirtualclustersinagridsitemanager，in:InternationalSymposiumonHigh-PerformanceDistributedComputing，HPDC，Seattle，Washington，USA，2003，pp.90-103.[30]X.Wang，J.Zhang，H.Liao，L.Zha，Dynamicsplitmodelofresourceutilizationinmapreduce，in:InternationalWorkshoponDataIntensiveComputingintheClouds，2011，pp.1-10.A.Kozuch,P.Ryan,R.Gass,S.W.Schlosser,D.0’Hallaron,etal.Cloudmanagementchallengesandopportunities，in:WorkshoponAutomatedcontrolfordatacentersandcloud，2009，pp.43-48.[34]https://.hpl.hp.techreports/201l/HPL-2011-129.pdf[35]Hagras,T.andJanecek,J.,Ahighperformance,lowcomplexityalgorithmforcompi1e-timetaskschedulinginheterogeneoussystems.ParallelComputing.v31i7.653-670.[36]B.Sotomayor,R.Llorcntc，I.Foster，Resourceleasingandtheartofsuspendingvirtualmachines，in:11thIEEEInternationalConferenceonHighPerformanceComputingandCommunications，Seoul，Korea，2009，pp.59—68.[37]T.Wood，A.Gerber，K.Ramakrishnan，J.vanderMerwe，Thecaseforenterprise-readyvirtualprivateclouds，in:WorkshoponHotTopicsinCloudComputing，SanDiego，Califoria,USA，2009. [34]W.Smith,I.Foster，V.Taylor，Schedulingwithadvancedreservations,in:IEEEInternationalParallelandDistributedProcessingSymposium，Cancun，Mexico，2000，pp.127-132.[35]P.Ruth,J.Rhee,D.Xu，R.Kennell,S.Goasguen，Autonomicliveadaptationofvirtualcomputationalenvironmentsinamulti-domaininfrastructure，in:IEEEInternationalConferenceonAutonomicComputing，2006:5-14.