Infiniband高速网络技术浅析

《Infiniband高速网络技术浅析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、高性能计算技术31Infiniband高速网络技术浅析薛刚上海超级计算中心上海201203gxue@ssc.net.cn前言：Infiniband(下面简称IB)是近几年产生的一种新兴技术，具有高带宽、低延迟的特色。通过一种长缆线的连接方式，组成统一的互联结构，既可以处理存储I/O、网络I/O，也能够处理进程间通信(IPC)。它可以消除目前阻碍服务器和存储系统的瓶颈问题，是一种致力于服务器端而不是PC端的高性能I/O技术，主要应用于数据中心。本中主要介绍了IB的发展、架构、特点、硬件组成以及在高性能计算中的各类应用。1.IB的诞生基于IB与基于共享总线

2、I/O技术之间的简要对比IB是由IB行业协会(IBTA，IBTradeAssociation)定如表1所示。义的一项标准，IBTA成立于1999年8月31日，由表1IB架构与传统总线架构的对比Compaq、惠普、IBM、戴尔、英特尔、微软和Sun七主要特性基于IB架构基于共享总线架构拓扑结构Switched（点对点）Shared-Bus家公司牵头，共同研究发展的高速先进的I/O标准。引脚数目少多最初的命名为SystemI/O，1999年10月，正式改名为终端数目非常多比较有限IB。IB最初于2000年上市，但由于当时经济的不景最大信号长度千米英寸气和IT

3、预算紧缩，人们对它的兴趣很快就消散了。可靠性很高较低可扩展性很高较低随着CPU的主频的不断提升，多核处理器的出现，以故障容忍性支持不支持及高工作频率的DDRII、DDRIII内存出现，人们逐渐带宽40GB4GB（PCI－E）发现，现有的基于PCI架构的I/O技术仍然是系统处理器、系统主存以及I/O外设之间的主要瓶颈，这种基3.IB技术优势于PCI的传统I/O架构已经不能满足集群、存储网络等IB以一种全新的方式把网络中常见的交换和路大量的I/O需求。由概念引入到I/O子系统当中。近年来，随着集群计算（Cluster）、存储区域网IB采用的交换结构（Swit

4、chedFabric）是一种面（SAN）、网格等高端领域对高带宽、高扩展性、向系统故障容忍性和可扩展性的基于交换的点到点高QoS以及高RAS（Reliability、Availabilityand互联结构，其核心就是把I/O子系统从服务器主机中Serviceability）等的迫切需求，以及基于PCI架构的剥离出去，通过光纤介质，采用基于交换的端到端I/O技术的缺陷和局限性日益突出。使得人们对互连的传输模式连接它们。它的结构设计得非常紧密，技术的兴趣开始恢复，而且希望通过互连技术能够大大提高了系统的性能、可靠性和有效性，能缓解帮助数据中心降低成本或实现高

5、性能的计算。随着各硬件设备之间的数据流量拥塞。而这是许多共享各种高速I/O标准相继登场，IB逐渐崭露头角。总线式技术没有解决好的问题，是基于PCI的机器最头疼的问题，甚至最新的PCI-E也存在这个问题。因2.IB架构与传统Shared-Bus架构对比为在共享总线环境中，设备之间的连接都必须通过基于共享总线（Shared-Bus）架构的诸多局限指定的端口建立单独的链路。性决定了这项I/O技术已经不能适合日益庞大的计算IB架构具有以下优点：机系统的I/O需求。这些局限性主要包括速率极限、可扩展性、单点故障等方面。而基于交换架构的3.1交换式通信架构Infin

6、iband技术在避开PCI架构上述问题的同时，提供IB采用一种交换式通信架构（SwitchedCommu-了其他方面的更高性能。nicationsFabric），在避开PCI架构上述问题的同时提32《高性能计算发展与应用》2008年第四期总第二十五期供了较局部总线技术更高的性能。它通过硬件提供的延迟随着所传输信息的大小而有所不同，所以了了可靠的传输层级的点到点连接，并在线路上支持解互连网络在传输小信息和大信息时的延迟非常重消息传递和内存映像技术。不同于PCI，IB允许多个要。通过对集群中两节点间进行的延迟基准测量，I/O外设无延迟、无拥塞地同时向处理器发

7、出数据请可以看到IB设备在各种处理器平台上延迟都是最低。求。延迟的基准测试中一般都是采用最小数据包及0字节的数据包进行传输，得到结果，并没有反映出3.2结构具有高可扩性实际工作时的情况；而实际应用中，数据包一般比IB所采用的交换结构（SwitchedFabric）是一种较大，这时就对带宽提出了要求。面向系统故障容忍性和可扩展性的基于交换的点到点互联结构，其扩展性非常高，在一个子网内可支持上万个节点，而每个网络中可有几千个子网，每个安装的系统中可以有多个网络结构。IB交换机通过子网路由分组，IB路由器将多个子网连接在一起。相对以太网，IB可以更加分散地进行

8、管理，每个子网内有一个管理器，其在路由分组、映射网络拓扑、在网络内提供多个链路、