云计算挖掘民航气象历史归档数据

《云计算挖掘民航气象历史归档数据》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、云计算挖掘民航气象历史归档数据　　摘要目前，民航气象中有大量历史归档数据，海量的气象数据具有很高的挖掘价值，数据价值的挖掘需要大量的计算，而云计算为此提供良好的基础。由于各地区空管局气象中心之间网络的联通，为空管局内部建设自己的私有云提供了便利的条件。搭建私有云为各空管局之间数据共享和云计算提供了物理条件。云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率，解决了单机服务器计算能力低的问题。本文最后用hadoop搭建了云计算平台作为实验，并用该平台处理了部分历史归档数据。　　【关键词】气象数据云计算私有云Hadoop

2、　　1背景　　目前气象预报主要使用4种预报处理方法：第一种是经验预报方法，在天气图形势预报的基础上，根据天气系统的未来位置和强度，对未来天气的分布做出预测；第二种是统计预报方法，通过统计某一现象在历史的特定环境条件下出现的概率，从而推测出在未来存在类似环境时出现的可能性；第三种是数值预报方法，利用大气运动方程组，在一定的初值和边值条件下对方程组进行计算，预报未来的天气；还有一种是集成预报方法，即把不同预报方法对同一要素的多种预报结果综合在一起，进而得出一个优于单一预报方法的预报结果。　　气象数据独立存在几乎没有价值，但往往配合其他

3、数据，就会产生综效。从海量的气象数据众挖掘与其他商业活动的关联，从而实现精准营销和精确预报具有很重要的意义。目前，空管局气象中心有着海量的气象数据，包括了各类结构化和非结构化的数据，MM5，WRF等气象数值预报模式每天的计算量更是惊人。气象预报的精度也从几百公里、几十公里提高到几公里，大大增加了模式的计算量。这需要配置很高的硬件才能实现，目前信息中心的数值预报每个计算模式是4台linux系统并行运算，该模式对硬盘的可靠性要求高，节点的接入和去除也比较复杂。因此如何高效的从这些海量数据中挖掘气象历史规律，有效地存储、处理气象大数据已

4、经成为急需解决的问题。现在，云计算技术可以为气象大数据服务提供技术支撑。　　2Openstack建设私有云　　OpenStack是由美国国家航空航天局和Rackspace合作研发的，以Apache许可证授权，并且是一个自由软件和开放源代码项目，它是一个云平台管理的项目。部署OpenStack主要有三个核心开源项目，Nova（计算）、Swift（对象存储）和Glance（VM存储库）。Nova提供了跨服务器网络的VM实例的管理，它的应用程序编程接口（API）为未知物理硬件和系统管理程序提供了一种计算编排方法。Swift项目可通过配置

5、了普通硬盘的标准服务器提供可伸缩的冗余存储集群，可用于主要是静态数据的长期存储。Glance为Nova能够使用虚拟磁盘映像提供了一个存储库，提供了一个API来注册磁盘映像，还提供了磁盘映像校验和、版本控制（和其他元数据）以及虚拟磁盘验证和审计/调试日志.　　目前全国七个空管局的气象中心信息室之间网络连接，数据共享。用于报文和气象产品分发的通信机为类linux系统（AIX或者linux），本文构想七个空管局气象中心用openstack搭建一个私有云。服务器、网络、存储的虚拟化，不但合理使用了各局之间的硬件，而且实现了数据的异地备份，

6、节点的添加和去除也很方便。　　该云计算数据中心整合了存储系统、刀片服务器以及小型机等，通过虚拟化、自动化、虚拟存储等技术将气象数据处理业务系统集成统一管理，构建了统一架构的应用服务平台，针对各种应用的维护、管理、升级均在服务器端实现，减少各地区管理员的维护和日常工作任务。云计算数据中心的用户交互接口以Web方式向用户提供。首先是针对物理资源虚拟化，虚拟化机制将具体的物理计算特性加以封装隐藏，对外提供统一逻辑接口，从而屏蔽物理设备多样性带来的差异，实现了服务器虚拟化、存储虚拟化、网络虚拟化.目录服务是用户可以访问的服务清单，监控统计

7、用于监控用户申请资源的运行情况，进行用户使用节点情况的统计。用户端在原有较低资源配置情况下实现远程高强度计算和大存储容量的工作。这种模式可以很好地解决当前空管局气象中心信息室的资源难共享、数据不一致等问题，提升资源的利用率，当然也可以在一个中心单独部署，方便管理和维护所有应用。　　3用Hadoop挖掘气象数据　　3.1MapReduce处理技术　　搭建云计算数据中心实现服务器虚拟化、存储虚拟化、网络虚拟化，方便了系统管理，也为hadoop云计算软件的工作提供了基础。Hadoop包括Hadoop内核、MapReduce、Hadoop

8、分布式文件系统（HDFS）以及一些相关项。　　MapReduce通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性，每个节点会周期性的把完成的工作和状态的更新报告回来。如果一个节点保持沉默超过一个预设的时间间隔，主节点记录下这个节点状态为死