并行处理技术简介

《并行处理技术简介》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、并行处理技术简介　　摘要：面对信息时代所产生的海量数据，如果还是用以前的串行的方式来解决，既不能满足现代人高节奏生活的要求，也不能适应现在大数据云计算的时代特征，并行处理技术无疑是提高效率的主要手段。本文阐述了目前并行处理方面最为流行的技术体系。　　关键词：海量数据；效率；并行处理　　1引言　　由于移动宽带、物联网技术、云计算技术的迅猛发展，网络被许许多多的移动终端、传感设备接入，海量数据正以惊人的速度产生。如：搜索引擎，如何更好的对网页信息进行合理的安排，才能满足用户的需求，由此而引发的种种大数据处理问题，并行处理不可或缺。并行处理技术的发展水平作为衡量国家高新

2、技术实力的一项重要指标，它在国内应用到科学技术、经济发展和国家安全等领域中比如：天气预报建模、大型数据库管理、大规模地震数据处理、人工智能、控制犯罪率、国防战略部署等等。　　2并行技术　　并行处理技术可以分为三个部分，共享存储系统，分布式系统以及基于GPU的并行处理。对于共享存储系统，每种操作系统都有其对应的线程库，比如：在Windows下一般使用MFC架构以及.NetFramework下相关的操作方法，在Linux下一般使用Pthreads。另外共享存储系统广泛使用的是OpenMP编程规范6。对于分布式系统架构，使用最多的是Hadoop、Spark集群以及MPI

3、消息传递标准。对于GPU异构环境的并行处理，NVIDIA的显卡可以直接使用CUDA框架。　　3共享存储系统　　共享存储，指的是在同一个分区上，同一块存储设备被多台服务器访问。如果没有这样的功能，这就意味着，谁需要该文件，这个用户就必须提供该文件的拷贝，很明显当用户访问量很大时，相当大地程度上浪费存储空间。多主机建设的共享存储系统，不仅完美地实现了数据的保存和保证信息安全的功能，而且实现了每台主机相互进行数据传送及数据共享的高效性，如非线性剪辑广播行业，员工在生片记录和数字化的同时，可以使另一个编辑人员审核视频的长度，以便它可以有效地加快制片速度，大大节约生产成本。

4、　　在共享存储系统的编写程序主要分为两个部分：针对于特定操作系统的线程库和在不同平台上编程的规范及库。OpenMP标准是共享内存并行系统下，多处理器程序设计的一套对程序具有指导性的编译处理方案，它具有良好的跨平台性和可移植性，支持多种程序设计语言：C语言、C++、Fortran。由于OpenMp的编译器的普遍使用，涌现出了许多支持的它的编译器（如：SunCompiler，GNUCompiler和Intel6Compiler等）。在并行算法的高层，OpenMP作了抽象的描述，编写并行程序的复杂度及难度得到大大的降低。因此，程序员不必在意其实现的具体细节，只需要通过在

5、源代码中加入特殊的编译指令，来表明自己的意图，通过编译器编译之后，实现了串行程序的并行化，并且，如果有需要的话，会自动添加同步互斥机制和通信功能。如果一些编译器及相关平台不能识别该编译指令，则编译器会选择跳过这些指令，源代码依然仍可以执行，只是不能通过多线程机制来加快程序的运行速度，但源程序的稳定性并不会被影响。另外，OpenMP标准的并行是线程级的并行，资源消耗量低，占用内存也就较少，在共享存储系统上发挥着一定的优势。　　4分布式系统　　分布式系统有消息传递和MapReduce这两种程序设计模型，消息传递的编程框架是MPI，其使用的编程环境是MPICH2，Map

6、Reduce对应的编程环境是Hadoop。　　4.1MPI　　MPI是一种跨语言编程接口标准，用于编写并行计算机上的消息传递程序。用户实现信息的通讯和互换，是通过在程序中发送数据和接收数据完成的。　　由于MPI并行编程框架具有良好的移植性（支持以现在流行的Windows操作系统以及大部分Linux操作系统为主要代表的不同的操作系统）和较好的异步通信速度，所以其远远胜于老式的信息传递库。MPI支持很多种程序设计语言，在一些由指定惯例集（API）组成的MPI上，可由C语言，C++，Fortran，或者平台上有此类库的语言可以直接调用。此外，MPI还支持多核处理器、集群

7、等其它分布式硬件平台。　　4.2Hadoop　　Hadoop框架最核心的结构设计部分是：MapReduce计算模型和HDFS（HadoopDistributedFileSystem）分布式文件系统。MapReduce模型，采用的是“分而治之”，6　　“先分后合”的思想来处理大数据，程序员编写的并行程序，通过Map、Reduce这两个过程，将大任务转换为同时执行的许许多度多的小片段，极大地提高了数据的计算能力。面对如此庞大的数据，Hadoop采用分布式文件系统（HDFS）来解决海量的数据存储的存储问题；Hadoop集群上所有节点上的文件由分布式文件系统存储和管理。H

8、DFS对P