基于MongoDB的矢量空间数据云存储与处理系统-论文.pdf

《基于MongoDB的矢量空间数据云存储与处理系统-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第16卷第4期Vl0l_16．No．42014年7月地球IE息科学一Ju1．，2014JournalofGeo．informationScience、基MongoDB的矢量空间数据云存储与处理系统雷德龙，郭殿升，陈崇成，巫建伟，吴小竹(1．福州大学福建省空间信息工程研究中心，空间数据挖掘与信息共享教育部重点实验室，福州350002；2．南卡罗来纳大学，美国南卡罗来纳州SC29208)摘要：近年来，海量空间数据存储与处理日益成为地理信息科学领域的研究热点。其中，矢量空间数据更因其较高的复杂性，成为该类研究的重点问题。本文基于文档数据库，探究了多

2、用户数据存储、矢量空间数据存储、海量矢量空间数据并行处理等问题，给出了存储和处理矢量空间数据的方法。在三层式云存储架构基础上，设计并实现了矢量空间数据云存储与处理系统VectorDB，达到了海量矢量空间数据的高效存储与处理要求。系统采用文档数据库MongoDB存储矢量空间数据，使用OGR库实现不同格式矢量空间数据的转换与存储，并用Hadoop对数据库中的数据进行并行计算，以及用mongo．hadoop作为MongoDB与Hadoop之间的连接器。通过实验对比了Vec．torDB与PostGIS的矢量空间数据读写性能，并分析了VectorDB与

3、MongoDB在海量数据并行处理性能方面的差异。结果表明：VectorDB具有更好的读取性能和海量数据处理性能，适合多用户不同格式、不同属性矢量空间数据存储，对海量矢量数据存储与处理问题具有参考价值。关键词：矢量数据；NoSQL数据库；MongoDB；云存储；Hadoop；多用户DoI：10．3724／SP．J．1047．2014．005071引言BASE原则]，重点保证分区容错性，弱化一致性或可用性，强调模式自由、读写效率、数据容量，以及在空间数据获取、存储、分析和应用中，非结系统可扩展性，支持灵活的分布式体系结构支持横构化和半结构化存储格

4、式逐渐成为一种主流。在向伸缩，对硬件的要求较低，更适合数据的高并发各类传感器、位置服务和社交网络等领域，相关读写和海量数据存储““。应用都会产生大量的半结构化或非结构化空间数NoSQL数据库根据存储模式不同，可分为键值据。关系数据库的传统空间数据存储，一般采用对、文档、列族和图等4种数据库类型[12]0Mon．2种具体实现方式：将关系型数据库进行空间扩展，goDB是一种文档型NoSQL数据库系统，一个Mon．或在关系数据库上层增加空间数据库引擎。传goDB实例由多个权限控制完全独立的数据库组统关系型数据库在数据管理方面解决了数据一致成，每个数

5、据库拥有大量的数据集合，每个集合又性和完整性问题，但是，在海量数据存储、访问与维由大量的文档组成，集合与文档类似于关系型数据护，非结构化和半结构化数据管理，以及数据库易库中的表与记录。MongoDB采用内存映射作为存用性和扩展性等方面，关系型数据库存在难以克服储引擎，可有效地提高I／O性能；面向文档的模式可的问题。以将文档或者数组内嵌，一条记录可表示非常复杂NoSQL数据库作为一种新的数据存储和查询．的层次结构；具有无模式的特性，无需制定模式模式，很好地弥补了关系型数据库在海量数据存储与约束，便于多用户环境下不同格式、不同属性数中存在的不足。

6、NoSQL数据库遵循CAP理论嘲和据的存储；支持通用辅助索引和丰富的查询表达收稿日期：2013—12—23；修回日期：2014—02—24．基金项目：国家科技支撑计划项目(2013BAH28F02)；福建省“百人工程”计~q(033091)；福建省科技计划项目(201010008)；欧盟第七框架国际合作项目(247608)。作者简介：雷德龙(1986一)，男，山东定陶人，硕士生，研究方向为空间数据挖掘与地理知识工程。E-mail：leid18907@gmail．corn+通讯作者：郭殿升0974—1，男，吉林省吉林市人，福州大学特聘教授、博士

7、生导师，研究方向为时空数据挖掘、信息可视化及空间优化。E—mail：diansheng．guo@gmail．com4期雷德龙等：基~J：MongoDB的矢量空间数据云存储与处理系统数据库安全模式有2种常用的实现方式：应用表示数据源类OGRDataSource里面的一层要素；数层过滤器和数据库层权限控制脚。前者为每个用据源由OGRDataSource控制，表示含有OGRLayer户的请求添加应用层过滤器，每个用户只能访问权对象的一个文件或一个数据库；类OGRSFDriver对限内的数据，该方法适合隔离方案中的完全隔离方应于每一个所支持的矢量文件

8、格式，由OGRSF．式与半共享方式。在数据库层面的权限控制中，每DriverRegistrar类来注册和管理。个用户被分配一个独立的数据库访问账户，只能访在OGR中