基于改进贝叶斯网络的气象数据预测算法研究

《基于改进贝叶斯网络的气象数据预测算法研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于改进贝叶斯网络的气象数据预测算法研究第一章绪论1.1研究背景和意义随着计算机技术和互联网技术的发展，人们的生活变得越来越丰富多彩，同时各行各业也产生了大量的数据[1]。据相关报道显示，2012年我国各类数据中心总量已达43万个，面积约88万平米，未来五年，数据中心机房面积再翻一番才能达到新增数据的需求[2]。这些海量的数据背后蕴含着丰富的知识和规律，如果我们能把这些有用的信息挖掘出来，那将对我们未来的生活产生很大的帮助。尤其在气象领域这种帮助将更加明显，长期以来，气象预测在人们的生产生活中都占据着非常重要的位置，大到飞机起飞、火箭发射，小到种植计划、穿衣出行，气象预测深

2、刻影响着我国的科研领域、经济建设和人民生活，所以对气象预测的研究一直都是专家和学者们关注的焦点。近年来，气象事业的现代化水平和现代气象业务体系在不断提高和完善，随之而产生的数据量也越来越大。据统计，气象中心每天的新增数据就以GB为单位，累积的气象数据更是达到了PB级（1PB=1024TB，1TB=1024GB[3]），并且包含了地面、卫星观测和数值预报等各种类型的观测数据。尽管数据的增长十分迅速，但我们处理数据的技术却发展的相对滞后，传统的数据预测方法在面对这些海量数据时，处理和计算都遇到了很大的障碍。现在的气象预测较以前虽然准确率有所提高，效率方面也取得了一定的进步，但还

3、是停留在满足人们日常生产生活的水平上。在灾难性气候（旱灾、洪涝）的预测方面，我们离需求还是有一定差距的，在这方面我们依旧任重而道远。比如2012年底，新疆持续大雪，导致8600余人受灾，1500余人紧急转移安置，200余间房屋倒损，直接经济损失800余万元；再比如2013年5月7日下午，长沙突降暴雨，积水超过30厘米，宁乡县发生山体滑坡，造成至少3人死亡[4]。由此我们可以知道，如何有效的利用这些海量气象数据，发现其中蕴藏的气象规律，从而对天气进行预测并指导我们的日常生产生活已经成为一个亟待解决的问题，被越来越多的专家和学者所重视。.......1.2国内外研究动态气象数据

4、的处理方法有很多种，如客观分析技术[7]、最优插值技术[8]、Kalman[9]、逐步订正法[10]等，其中广泛被人们所认可的效率最高的方法是数据挖掘。气象数据预测是数据挖掘(Datamining)[11]的一种表现形式,其是数据库知识发现中的一个步骤，通常情况下是指从海量的数据中发现那些隐含在其中的特殊的规律和知识的过程。国内外对气象数据预测都非常重视并进行了大量的研究。气象数据预测方面的研究，国外很早就开始了，而且所使用的方法非常繁杂，如贝叶斯方法[12]、人工神经网络方法[13]、决策树方法[14]以及粗糙集方法[15]等。他们取得的成就也很多，本文做了一些总结如下：

5、AsanobuKitamoto主要是把PCA方法应用到台风的图像采集中[16]。EstevamR.HmschkaJr等通过对贝叶斯网络数据预测算法的研究，证实了此种算法对数据缺失的数据集具有比较好的包容性，并且具有速度快、正确率高的特点[17]。AuroopR.Ganguly等人[18]对全球的气象数据进行挖掘，虽然计算量非常巨大，要考虑的因素也非常多，但这种思路可以为以后人为改造环境提供借鉴。TugayBilginT等采用聚类分析的方法，对气象站的温度数据进行研究，根据研究结果重新划分了土耳其的气象区域[19]。国内关于气象数据预测的研究起步要晚于国外，但由于气象问题的重

6、要性，学者们花了很多时间和精力对其进行研究，研究成果也有重要的指导意义[20]。哈尔滨工程大学的陈宝学等人从理论上证明了以数理统计为基础的数据挖掘方法可以用于天气预报中[21]；西安电子科技大学的左爱文在毕业论文中，分别把一种时间关联规则算法和一种空间关联规则算法运用到气象数据预测中，并用实验验证了算法的有效性和可行性..........第二章Hadoop相关技术概述Hadoop起源于开源的网络搜索引擎ApacheNutch，它从另一个角度出发，以一种全新的思路来考虑对海量数据的处理。Hadoop是一种分布式存储和计算系统，它可以用集群廉价的硬件资源来弥补单机代价巨大的性能

7、提升，具有很强的运算和存储能力。Hadoop以可靠、高效、可伸缩的方式对海量数据进行分布式处理，得到了越来越多专家和学者的重视和青睐。2.1Hadoop概述Hadoop[35]是一个分布式系统基础架构，其创建的目的就是为了构建一个有很强可靠性和扩展性的分布式系统。2008年4月，Hadoop已经成为当时世界上最快的数据排序系统。也就是从这时开始，Hadoop一跃成为企业主流的部署系统，是公认的大数据通用存储和分析平台[36]。Hadoop的出现，为海量数据的存储、查询、筛选、挖掘提供了一个全新的模式，它对硬件设备的