资源描述：
《数据仓库技术在天气预报决策中的应用探讨.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第17卷3期应用气象学报Vol.17,No.32006年6月JOURNALOFAPPLIEDMETEOROLOGICALSCIENCEJune2006数据仓库技术在天气预报决策中的应用探讨谭晓光(中国气象局北京城市气象研究所,北京100089)摘要文章概述了数据仓库的概念和特点。讨论了数据仓库的数据存储、联机分析处理(OLAP)和数据挖掘(DM)要解决的主要技术问题,侧重于数据仓库技术在天气预报领域中的应用。数据仓库技术将原始数据转换为便于分析的数据,并增强了管理和使用历史数据及特种观
2、测数据的能力,DM能够帮助预报员快速积累经验,OLAP使预报员的分析突破了过去固有框架的限制。文章针对天气预报决策特点提出以天气系统分析为主的数据聚集处理、在OLAP的多维分析之外增加比较分析、多元分析和相似分析功能等扩展,还指出关联规则的挖掘是目前预报方法研究中值得尝试的新方法。关键词:天气预报;数据仓库;联机分析处理;数据挖掘引言1数据仓库技术简介目前国内外的预报员工作平台在天气预报决策数据仓库(DataWarehouse)的概念是Inmon[1]支持方面主要是以提供数据查询为主,将预报员常首先提出来的,将数据仓
3、库定义为一个支持管理决用的预报图表在计算机中集成地显示出来,同时也策过程的、面向主题的、集成的、稳定的、随时间而变提供了一些初步的数据分析功能。但只有这些功能的数据集合。还是不够的。首先,现代化天气预报业务系统提供在业务流程中通过接收、解码、插入、修改、删的很多数据(例如500hPa以上的天气图)预报员基除、质量控制、推导等操作获取的最原始、最详细的本没有使用经验,同时在业务工作中预报员每次汇实时数据储存在各种数据库中,把它们直接用于分总分析数据和会商的时间很有限,使预报员既无时析时效率一般是很低的。数据仓库则根据人们的
4、知间也无经验充分利用现代化系统提供的丰富数据;识,针对决策过程的要求对数据库中的这些操作型其次,各台站在长期的业务工作中积累了大量历史数据进行进一步加工处理并按主题(即在分析数据数据,要有效利用这些数据,就必须增加管理和分析时经常用到的各种概念)重新组织,使它们成为便于历史数据的工具;第三,随着探测技术的迅速发展,分析的数据,即分析型数据,从而大大提高分析数据中尺度观测网和特种观测网的建立,增加了许多非的效率。因此,数据仓库就是一个针对具体决策任常规的气象数据,要有效地管理和应用这些数据,也务的分析型数据集合(支持管理决
5、策过程的、面向主必须增加管理和分析这些特种数据的能力。20世题的、集成的),其中的数据只用于分析,一般不再进纪90年代兴起的数据仓库技术作为新一代决策支行修改(稳定的),数据是时间序列(随时间而变)的。持技术,为我们提供了一个非常好的解决方案。虽因此,数据仓库并不是保存海量数据的大仓库,而是然仅靠数据仓库不可能完成预报决策的所有任务,针对具体决策任务从各个数据库中抽取需要的数据但将其作为新一代预报决策系统的核心技术是值得重新处理组织,使它们便于在决策中被快速、充分利尝试的。用的强大数据源。北京市气象局Internet
6、气象数据仓库课题和北京市科委环境大气综合探测资料四维数据库技术研究课题共同资助。20050621收到,20060206收到再改稿。326应用气象学报17卷Inmon的数据仓库定义只是狭义的。经过十几持系统存在的问题。年的发展,数据仓库往往还要包括相应的数据分析工具,比如联机分析处理(OLAP,OnLineAnalysis2数据存储系统Process)和数据挖掘(DataMining)系统等。联机分[2]析处理(OLAP)是
7、将决策支持功能与传统的联机数据仓库的数据存储系统任务就是将数据从各事务处理功能(OLTP)明显区分开来,它从人类分析数据源抽取出来,转换为分析型数据,存储并提供数数据的一般规律出发,形成了基于多维分析的决策据检索和管理的界面。其数据流程图如图2所示。支持工具。其独特之处在于多维分析的维可以是我们需要观察数据的任何角度,没有传统的、固定的框架。因此OLAP与传统的气象图形系统(MICAPS,VIS5D等)有本质的区别,其视野要开阔得多。数据挖掘(DataMining)是将人工智能技术(神经网络、模糊逻辑、遗传算法等)应用于
8、大规模数据,自动地发现隐含在数据中的趋势、模型和关系等。它将基于数据库的知识发现(KDD)学科中较成熟的技术在实际决策中应用,形成了一类新的决策支持工具。目前大多数数据库厂商提供的数据仓库完整解决方案都包括了上述数据存储(狭义的数据仓库)、[3]联机分析处理和数据挖掘3个部分,体系结构如图2数据存储系统数据流程图图
