lenovo intelligent computing orchestration 白皮书.doc

《lenovo intelligent computing orchestration 白皮书.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、联想智能超算平台LenovoIntelligentComputingOrchestration产品白皮书v2.1LenovoEBGSystemxSolutionTeam目录LenovoIntelligentComputingOrchestration1产品白皮书v2.111.概述31.1概要31.2目标读者32.联想LenovoIntelligentComputingOrchestration解决方案42.1解决方案架构42.2软件架构82.2.1软件列表82.2.2推荐硬件列表92.3联想Systemx解决方案团队所做的努力102.4方案功能和优势112.4.1功

2、能112.4.2优势133.推荐配置163.110个节点HPC集群推荐配置163.220个节点HPC集群推荐配置173.350个节点HPC集群推荐配置183.4100个节点HPC集群推荐配置184.典型应用场景功能204.1机群管理、监控和报警204.2作业提交与查看264.3用户及计费管理291.概述1.1概要随着互联网的普及和IT业的高速发展，高性能计算已经不再是少数大公司或大型科研机构的专属要求，而是被越来越多的包括政府，教育科研，石油石化，制造，军工和生命科学类的客户所需要和接受。当前高性能计算的解决方案中，大多数企业级商用软件产品解决方案如IBMPlatf

3、ormComputing十分昂贵和庞大。这就造成很大一部分HPC客户无法承受。另外还有一些HPC客户对高性能产品和方案有着很强的定制化和二次开发的需求，他们并不希望自身被复杂的庞大的商业软件所绑架。基于以上需求和综合考虑，联想EBG组装研发了LenovoIntelligentComputingOrchestration联想智能超算平台。它是基于主流的高性能计算开源项目，并由LenovoEBG研发团队加入了一些符合自身的特性功能插件，并且在联想Systemx平台上测试和验证。1.2目标读者本文档主要面向联想公司内部技术人员，销售人员，客户中的技术人员，联想签约合作伙伴

4、和数据中心管理和运维人员。本文档读者需要具备一定的高性能计算，服务器集群的基础知识，并对服务器和数据中心基础架构以及存储，网络设备有一定的了解。1.联想LenovoIntelligentComputingOrchestration解决方案1.1解决方案架构一个完整的HPC集群由以下五类节点组成：1．管理节点管理节点作为HPC集群的核心，肩负着集群管理，监控，调度，策略管理，用户和账户管理等主要功能。我们选用一台x3650M4/M5搭载2块E5-2600v2/v3CPU，64GB的内存，2块300GB的硬盘和相应的网卡或IB卡作为管理节点的硬件平台。开源软件方面，我们

5、选用xCAT和Ganglia来担负集群管理,部署和监控的任务，xCAT和Ganglia在HPC集群管理和监控方面有着很多年的沉淀，很多HPC集群管理员对他们的使用十分熟悉。在任务调度方面，我们选用TORQUE加MAUI这样的黄金组合，他们也是被市场多年验证过的成熟开源软件产品。计费方面，我们选用和MAUI同属一个社区的Gold，来尽量减少产品间的冲突。2．计算节点计算节点的功能顾名思义，就是完成高性能计算的任务。我们选用非常适合高性能计算的服务器NeXtScalenx360M4/M5或Flexx240M4/M5，搭载2块E5-2600v2/v3CPU,64-128G

6、Bmemory，1块300GBHDD和相应的网卡或ib卡作为计算节点的硬件平台。开源软件方面，我们预装了多种开源的MPI运行库，包括MPICH，OpenMPI，MVAPICH2，基本上涵盖了市面上所有最通用的MPI开源库。用户也可以选装Intel公司的IntelParallelstudio库。同时TORQUE，Ganglia等软件的客户端也需要安装在计算节点上。3．GPU节点GPU节点和普通的计算节点十分相像，从硬件上看，它比普通的计算节点多了GPU来专门做浮点运算。从软件上看，我们预安装了CUDA。4．登录节点登录节点是HPC集群联系外部网络或集群之间的纽带。用户

7、需要通过它来完成用户的登录并用它来上传应用数据，开发编译程序，提交调度任务等。我们选用x3650M4/M5搭载2块E5-2600v2/v3CPU，64GB以上内存，2块300GB的硬盘和相应的网卡或IB卡作为登录节点的硬件平台。开源软件方面，我们预安装多种开源的MPI编译库和运行库，包括MPICH、OpenMPI、MVAPICH2，基本上涵盖了市面上所有最通用的MPI开源库。用户也可以选装Intel公司的IntelParallelstudio库。我们同时预安装了GNU编译器作为最基本的编译环境。当然，TORQUE、Ganglia等客户端也需要安装在登录节点上。5