多源异构海量数据实时处理平台研究与应用

《多源异构海量数据实时处理平台研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第３１卷第１期计算机应用与软件Ｖｏｌ３１Ｎｏ．１２０１４年１月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＪａｎ．２０１４多源异构海量数据实时处理平台研究与应用１１，２３耿焕同黄涛薛丰昌１（南京信息工程大学计算机与软件学院江苏南京２１００４４）２（南京信息工程大学江苏省网络监控中心江苏南京２１００４４）３（南京信息工程大学遥感学院江苏南京２１００４４）摘要目前许多业务部门以多种形式记录各种海量且异构多源的业务数据，在进行高端决策时，对数据的读取及多维计算分析等方面效率较低，特别是对具有“时空”特性的数据处理。针对这类数据的多源异构性、海量性、高度时空性等特点，结合数据

2、实时性需求，设计并实现了“多源异构海量数据实时处理平台”。该平台从多途径实时获取、处理多种海量数据文件，并实时保存到数据库，方便其他各业务系统更加直接、实时地使用各种实时数据，最终实现各业务系统间的多源异构海量数据的实时共享，同时该平台对其他领域的复杂数据处理也具有很好的参考价值。关键词多源异构海量实时并行处理中图分类号ＴＰ３１９文献标识码ＡＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．０１．０１２ＲＥＳＥＡＲＣＨＡＮＤＡＰＰＬＩＣＡＴＩＯＮＯＦＲＥＡＬＴＩＭＥＰＲＯＣＥＳＳＩＮＧＰＬＡＴＦＯＲＭＦＯＲＭＵＬＴＩＳＯＵＲＣＥＨＥＴＥＲＯＧＥＮＥＯＵＳＭＡＳＳＤＡ

3、ＴＡ１１，２３ＧｅｎｇＨｕａｎｔｏｎｇＨｕａｎｇＴａｏＸｕｅＦｅｎｇｃｈａｎｇ１（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒａｎｄＳｏｆｔｗａｒｅ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ２１００４４，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ）２（ＪｉａｎｇｓｕＥｎｇｉｎｅｅｒｉｎｇＣｅｎｔｅｒｏｆＮｅｔｗｏｒｋＭｏｎｉｔｏｒｉｎｇ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ２１００４４，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ）３（ＳｃｈｏｏｌｏｆＲｅｍｏｔｅＳｅｎｓｉｎｇ，

4、ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ２１００４４，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ）ＡｂｓｔｒａｃｔＡｔｐｒｅｓｅｎｔｍａｎｙｂｕｓｉｎｅｓｓｄｅｐａｒｔｍｅｎｔｓｒｅｃｏｒｄｔｈｅｍａｓｓａｎｄｈｅｔｅｒｏｇｅｎｅｏｕｓｍｕｌｔｉｓｏｕｒｃｅｂｕｓｉｎｅｓｓｄａｔａｉｎａｖａｒｉｅｔｙｏｆｆｏｒｍａｔｓ．Ｗｈｅｎｃａｒｒｙｉｎｇｏｕｔｄｅｃｉｓｉｏｎｍａｋｉｎｇａｔｈｉｇｈｅｎｄ，ｉｔｉｓｌｏｗｅｒｉｎｅｆｆｉｃｉｅｎｃｙｏｆｄａｔａｒｅａｄｉｎｇａｎｄｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌｃａｌｃｕｌａｔｉｏｎ

5、，ｅｓｐｅｃｉａｌｌｙｉｎｒｅｇａｒｄｔｏｔｈｅｐｒｏｃｅｓｓｉｎｇｏｆｄａｔａｗｉｔｈ＂ｔｉｍｅｓｐａｃｅ＂ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ．Ａｃｃｏｒｄｉｎｇｔｏｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｓｕｃｈｋｉｎｄｏｆｄａｔａｗｉｔｈｍｕｌｔｉｓｏｕｒｃｅｈｅｔｅｒｏｇｅｎｅｉｔｙ，ｍａｓｓａｎｄｈｉｇｈｓｐａｔｉｏｔｅｍｐｏｒａｌｐｒｏｐｅｒｔｉｅｓ，ａｎｄｃｏｍｂｉｎｉｎｇｗｉｔｈｔｈｅｒｅａｌｔｉｍｅｄａｔａｄｅｍａｎｄ，ｗｅｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔｔｈｅ“ｍｕｌｔｉｓｏｕｒｃｅｈｅｔｅｒｏｇｅｎｅｏｕｓｍａｓｓｄａｔａｒｅａｌｔｉｍｅｐｒｏｃｅｓｓｉｎ

6、ｇｐｌａｔｆｏｒｍ”．Ｔｈｅｐｌａｔｆｏｒｍｔｉｍｅｌｙａｃｑｕｉｒｅｓａｎｄｐｒｏｃｅｓｓｅｓａｖａｒｉｅｔｙｏｆｍａｓｓｄａｔａｆｉｌｅｓｆｒｏｍｍｕｌｔｉｐｌｅｃｈａｎｎｅｌｓ，ｔｈｅｎｓａｖｅｓｔｏｄａｔａｂａｓｅｉｎｔｉｍｅ．Ｉｔｉｓｈｅｌｐｆｕｌｆｏｒｏｔｈｅｒｂｕｓｉｎｅｓｓｓｙｓｔｅｍｓｔｏｕｓｅａｌｌｋｉｎｄｓｏｆｒｅａｌｔｉｍｅｄａｔａｍｏｒｅｔｉｍｅｌｙａｎｄｄｉｒｅｃｔｌｙ，ａｎｄｆｉｎａｌｌｙｒｅａｌｉｓｅｔｈｅｒｅａｌｔｉｍｅｓｈａｒｉｎｇｏｆｍｕｌｔｉｓｏｕｒｃｅｈｅｔｅｒｏｇｅｎｅｏｕｓｍａｓｓｄａｔａｂｅｔｗｅｅｎｔｈｅｂｕｓｉｎｅｓｓｓｙｓｔｅｍｓ

7、．Ａｔｔｈｅｓａｍｅｔｉｍｅ，ｔｈｅｐｌａｔｆｏｒｍｈａｓａｖｅｒｙｇｏｏｄｒｅｆｅｒｅｎｃｅｖａｌｕｅｆｏｒｔｈｅｃｏｍｐｌｅｘｄａｔａｐｒｏｃｅｓｓｉｎｇｉｎｏｔｈｅｒａｒｅａｓ．ＫｅｙｗｏｒｄｓＭｕｌｔｉｓｏｕｒｃｅＨｅｔｅｒｏｇｅｎｅｏｕｓＭａｓｓＲｅａｌｔｉｍｅＰａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇ给数据文件的获取带来不便，同时也较不稳定；其次，各类数据０引言的“记录格式”不统一，也不利于数据信息的提取；再者，数据的“文