运用hadoop并行技术解决多个经济市场并行模拟问题

《运用hadoop并行技术解决多个经济市场并行模拟问题》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、精选公文范文管理资料运用Hadoop并行技术解决多个经济市场并行模拟问题　　0引言　　经济周期，又称商业周期（businesscycles）是国家总体经济活动中反映出的起伏波动，其表现为很多经济活动同时发生，包括扩张、全面衰退和收缩，以及作为下一个经济扩张周期循环开始的复兴过程[1].对国家经济形势周期性变化进行分析和预测一直以来都是各国政府制定金融策略和应对金融危机的重要依据，对国家政治经济系统的安全和稳定运行具有重要意义。　　对于经济周期的模拟自20世纪80年代在全世界范围内已经开始，学者们开展了大量的研究，取得了巨大的成绩。传统模拟方法中，以Swarm模型

2、作为系统的整体模型，利用多主体Agent[键入文字][键入文字][键入文字]精选公文范文管理资料进行模拟仿真[2-3],但不能处理大规模数据，如果多次模拟会耗费大量的时间，并且占用资源过多。将并行技术用到经济模拟系统中，可以达到提高模拟系统效率的目的，在一定程度上降低硬件成本。　　并行计算技术至今为止已经经历了3代模型，第1代主要是以处理器计算为中心的PRAM[4-5]和APRAM[6]等模型；第2代主要是以网络通信为中心的BSP[7],NHBL[8]等模型；第3代主要以存储访问为中心的UMH[9]和HPM[10]等模型。模型更新主要以减少运算过程中的通信开销，

3、避免读写及调度时的冲突为主线，在整体方面提高计算速度和人机交互的速度[11].通过模型的对比分析，在分布式环境中，第3代模型虽然能协调各进程的执行和节点之间的数据的传输，但无法解决系统中进程失效以及合并进程的中间结果等问题。使用Hadoop并行技术能有效解决上述问题。　　由Apache基金会开发的Hadoop是一个分布式系统的基础架构，实现了分布式文件系统（HadoopDistributedFileSystem,HDFS）,能运行[键入文字][键入文字][键入文字]精选公文范文管理资料MapReduce.MapReduce是Google开发的一种简洁抽象的分布式

4、计算模型[12],因其高易用性和可扩展性而得到了广泛应用。基于第3代并行计算模型的MapReduce能够解决系统中部分进程失效的问题，能自动检测到失败的map和reduce任务，并让正常的处理机处理这些失败的任务。以上功能都基于其无共享框架实现[13].　　本文在研究仿真模拟和并行计算技术的基础上提出了运用Hadoop并行技术解决多个经济市场并行模拟问题，实现了多市场同时模拟，实时显示模拟结果，提高了系统资源的利用率，缩短了仿真模拟的时间。　　1并行计算在系统模拟中的应用   并行计算在系统模拟中的应用，主要针对多处理器的并行进行算法的改进，将CPU的利用率问题

5、作为考虑的最主要方面，每个线程对应一个CPU,多个CPU在处理时的加速比为S（n）=单CPU串行处理的最优时间/多CPU的并行处理时间，CPU的效率=S（n）/CPU数量，如何提高CPU的效率成为重中[键入文字][键入文字][键入文字]精选公文范文管理资料之重[14].运用多线程同步机制、调度算法和通信机制，进行并行计算程序的设计，构造一个多线程的应用，主要是对线程的调用和线程状态的转换进行研究，在线程同步的过程中对线程进行监视和加锁，以达到对线程的同步控制并增加系统的安全性和整体利用率。多个线程之间的通信机制也对系统整体状况起到非常关键的作用[15].图1为H

6、adoop并行计算体系结构，集群系统首先将求解问题分解到多个节点中，每个节点都有自己的处理模块（MapReduce）和存储模块（DataNode）,完成本节点的计算和存储任务，然后通过各个节点之间的通信（RPC）[键入文字][键入文字][键入文字]精选公文范文管理资料,最终完成问题的求解过程，得到结果。　　　　节点间的通信机制是处理过程中一个重要的任务，通信量的大小直接影响系统的性能，为权衡通信机制占用的开销，为通信机制设置一个阈值，表示通信次数和通信量的大小。阈值的设定要符合系统的现状，阈值偏高会增加节点间的通信，降低系统的效率，阈值偏低，造成节点间不能很好地

7、通信。对于一个系统来说，首先保证的是在不影响节点通信的同时尽可能提高系统的效率，而不是为了提高系统的效率而影响节点间的通信。　　2仿真模拟方法设计与实现　　在Swarm环境的支持下，首先模拟一个市场。市场中有多类智能体（Agent）,包括消费者、生产者、政府和银行等，通过为每个个体设置初始值（此值可以是确定的，也可以在一定范围内随机选取）来设定个体的初始状态和初始资本。Agent有一定的自主能力，来决定自己的行为，也可以根据周围环境和自身现在的状态进行决策，最终通过个体与个体之间的交互影响市场的总体趋势。由此产生了一个问题：如何定义市场的大小？对于较大市场的模拟

8、，能够得到较好的模拟结果