高性能计算中作业调度技术与集群管理系统的研究

《高性能计算中作业调度技术与集群管理系统的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码：10289分类号：TP315密级：公开学号：122030019江苏科技大学硕士学位论文高性能计算中作业调度技术与集群管理系统的研究研究生姓名周凯导师姓名林明申请学位类别工学硕士学位授予单位江苏科技大学学科专业信号与信息处理论文提交日期2014年12月24日研究方向智能信息处理与系统论文答辩日期2015年3月19日答辩委员会主席张尤赛评阅人2015年3月17日I分类号：TP315密级：公开学号：122030019工学硕士学位论文高性能计算中作业调度技术与集群管理系统的研究学生姓名周凯指导教师林明教授江苏科技大学二零一五年三月IIAThesisSubmittedinFul

2、fillmentoftheRequirementsfortheDegreeofMasterofEngineeringResearchontheJobSchedulingPolicyandClusterManagementSysteminHighPerformanceComputingSubmittedbyZhouKaiSupervisedbyProfessorLinMingJiangsuUniversityofScienceandTechnologyMarch,2015III江苏科技大学工学硕士学位论文江苏科技大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的

3、指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：年月日IV摘要江苏科技大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权江苏科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于：(

4、1)保密□，在年解密后适用本授权书。(2)不保密□。学位论文作者签名：指导教师签名：年月日年月日V江苏科技大学工学硕士学位论文摘要计算科学从诞生以来，已经在科学研究、工程技术以及军事等方面取得了巨大的成就。在计算科学的发展过程中，高性能计算技术凭借其易用性、灵活性和平台无关性等特点，在国内外广受关注。同时，高性能计算也是许多计算学科的工具基础，正因如此，高性能计算中常用的集群技术正愈发受到各科研部门的重视和关注。集群管理系统主要包括了资源管理、作业管理和用户管理，本文主要从高性能计算的起源、发展趋势以及相比大型机的优势所在等方面阐述高性能计算中资源管理、作业管理和用户管理的研究

5、成果。本文主要的工作如下：1、介绍了集群硬件架构的发展过程，分析了Linux高性能集群系统平台的构成，阐述了集群中各硬件节点以及所用网络的功能，同时对集群中软件架构进行了分析；2、以资源管理器Torque与作业调度器Maui组合为基础，结合监控软件Ganglia，给出利用Python语言在Django框架下开发集群系统管理软件CCLAB的过程。3、分析了CCLAB中“作业调度”、“集群用户”和“集群监控”三个Portlet的设计开发过程，给出了CCLAB中URL的设计过程，并分析了文中采用的GPFS并行文件系统、消息传递接口(MPI)技术以及集群远程电源管理的工作原理；4、分析

6、了作业调度的分类和过程，根据作业调度器Maui调度作业的方式对作业调度进行数学模型抽象，通过有向无环图(DAG图)解释调度过程。在分析了常用的FCFS策略、优先级调度策略、Firstfit策略、Bestfit策、预约策略和回填策略优缺点的基础上，改进并分析了一种基于节点负载情况自定义优先级预约回填的策略(“BLPRB”策略)，拓展了单、双策略的研究，并对其实现节点负载评估、作业优先级确定和预约资源以及回填作业的过程进行详细分析，给出“BLPRB”策略确定预约作业最迟执行时间和解决大作业饥饿问题的算法理论分析，最后将该策略集成到Maui调度器中。在搭建的高性能计算平台上进行验证分

7、析，结果表明BLPRB策略相比Firstfit和FCFS，作业最大响应时间最大减幅达到26.17%和25.99%，吞吐率最大提升达到54.55%和30.77%，对比Firstfit策略和FCFS策略，BLPRB策略在平均等待时间上的最大降幅分别为35.22%和60.58%。测试结果表明BLPRB策略一定程度上提高了集群的系统利用率和吞吐率。文中开发的CCLAB大大降低了集群管理员的负担，有一定的实际价值，改进后的新型作业调度策略能在一定程度上提升集群资源的利用率。关键字：作业调度；Torqu