基于计算网格的集群系统资源管理和作业调度的-研究和实现

《基于计算网格的集群系统资源管理和作业调度的-研究和实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、上海夫学硕士学位论文ThePostgraduateThesisofShanghaiUniversity1．2集群系统1，2．1集群管理系统概述集群(cluster)系统是一种并行或分布式处理系统，它包含多个由互连网络连接起来的独立计算结点，能够通过集群系统软／硬件形成一个统一的计算资源。在集群系统中，计算结点可以是单处理器系统，也可以是多处理器系统。这些计算结点各自带有CPU、存储器、10设备以及独立的操作系统。集群系统的多个结点通过通用网络或者其它高速网络进行互连，集群对用户和应用来说是一个单一的系统，它可以提供低价高效的高性能环境和快速可靠的服务。集群系统一般采用通用的商用器件、操作系

2、统、并行编程环境以及典型应用软件等。因此，集群系统能够在较低投资的基础上，通过有效地管理和调度。充分利用系统资源，达到较高的性能价格比。集群系统一般是多用户(Multi—user)、分时共享(Time—sharing)系统。典型的集群系统包含下列组件“3：>多个高性能计算机(PC，Workstation，SMP)，一般称为计算结点；≯具有当前技术水平的操作系统(层次结构或者微内核结构)；》高性能互连网络。通常用商品化网络，如以太网、FDDI、光纤通道以及AIM进行连接，也可用专用互联网来提高数据交换的速度；》网络接口卡：≯快速通信协议与服务，如：AM(ActiveMessage)，FM(F

3、astMessage)；》集群系统中间件(Middleware)；》并行编程环境与工具(如：MPI，PVM，调试工具等)：◆典型应用◆串行应用◆并行应用◆分布式应用集群系统的结构图1-1所示⋯：上海犬学颚七学位论文T—h—ePos．—tg—raduateThesisofShanghaiUniversityParallelProlrra衄ain8EnvironmentsCnIaterHiddLeware‘SinsIeSyate∞IM4eandAvall8bniryInfrastrec!ure)图1-1集群系统结构1．2．2集群系统的关键技术1．2．2．1微处理器技术通用商用微处理器现在已经成

4、为计算机系统的基本标准构建块(BuildingBlock)。桌面Pc、工作站与超级计算机有着相同的微处理器，这使得采用集群技术进行超级计算机成为可能。1．2．2．2网络技术集群系统是由多台通过网络连接起来的“自治”计算机构成的计算资源。网络技术的发展使得集群系统范围内的资源共事成为可能，网络互连技术在集群中有着举足轻重的地位。在网络通信协议方面，由于通用的TCP／IP协议处理复杂。各个协议层之间的多次信息拷贝和转换使的协议性能低下，许多研究者提出了精简、高效的通信协议，提高信息的传输速率。Beowulf系统中还采用了bypasskernel技术实现零拷贝，从而提高通信系统的性能。如何提高集

5、群系统的通信性能是集群计算技术研究的一个重要方向。1．2．2．3集群系统中间件技术集群系统中间件技术是当前系统研究中还不成熟的方向，因此也是最有研究价值的方向。集群系统中间件技术的研究主要包括：●单一系统映像SSI·系统可用性基础结构●资源管理与调度系统单一系统映像SSI是当前研究的～个热点问题。它致力于对用户和上层应用墓甄熏t海大学硕士学位论文!塾!￡!!!墨!塑!坠!!!!墅!!!!!竺g!!!堕!堕!!!坠提供一个单一的、独立的、一致的系统视图。它通过软件和硬件来屏蔽集群系统的具体物理结构，实现一定程度的透明性。单一系统映像技术的研究范围非常广，但研究及实现难度相当大。IBM采用～个

6、折衷的方案，sP实现单入口、单文件层次、单控制点和单作业管理等SSI特征，但未实现单地址空间。高可用性方面的研究是集群系统目前最成功的方面，通过硬件冗余或软件的方法都可以从很大程度上提高系统的可用性，已经投入使用的技术，如：多机备份技术。Checkpoint技术也是高可用性集群中的一种重要技术。不论是进行高性能计算还是高吞吐能力计算，如何有效地在集群系统范围内进行资源的共享、管理和调度都是当前集群系统亟待研究解决的一个重要问题。资源共享是集群系统的基本出发点，在共享的前提下对集群范围内的资源进行有效的资源和调度，对于提高集群系统的吞吐率和性能有着重要的作用。1．3集群向网格的发展现在，PC

7、集群成为建立高性能并行机的很廉价方式，而且这种趋势将会持续下去。1。集群可以为部门之内的个人项目提供巨大的计算力，但是～些大型应用程序往往需要庞大的计算能力，远远超过单个资源或部门所能提供的能力”1，而计算资源通常分布在全球范围内，这些资源包括计算系统(如传统的超机计算机、集群、SMP、台机)、专门设各(比如传感器、无线望远镜、卫星接收器)、视觉平台和存储设备等。为了在可行和合理的时间和经费范围内解决问题，这就促进了对地