文献综述郑志亮

《文献综述郑志亮》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

吟心转常旣毕业设计（论文）文献综述设计（论文）题目：计实现Hadoop环境下的遥感数据存储模型设学院名称：理学院专业：信息与计算科学学生姓名：郑志亮学号：08480010227指教师：尹天鹤2011年11月29日 一、前言部分随着对地观测技术的快速发展遥感数据的量呈几何级数成长，这给遥感数据的存储管理带来了巨大的挑战。然而，网格计算是国家级高性能计算和信息服务的战略性基础设施，它的目标是将地理上分布、异构的各种高性能计算机、数据服务器、大型检索存储系统和可视化、虚拟现实系统等，通过高速互联网络连接并集成起來，共同完成一些缺乏有效研究办法的重大应用研究问题。因此，我们研究在Hadoop环境卜•遥感数据的存储。Hadoop是一个分彳j式构架基础架构，±1Apache基金会开发。充分利用集群的威力高速运算和存储。木课题将从以下几个方面來加以研究：（1）HDFS是GoogleFileSystem（GFS）的开源实现。（2）MapReduce是GoogleMapReduce的开源实现。（3）HBase是GoogleBigTable的开源实现。Hadoop的最常见用法之一是Web搜索。虽然它不是惟一的软件框架应用程序，但。作为一个并行数据处理引擎，它的表现罪常突岀二、主题部分2.1遥感数据数据特点和组织特征遥感图像数据库级数是数字处理技术、数据库技术和模式识别技术发展并相结合的产物。它具冇如下特点：数据对象庞大、数据结构复杂、数据类型多样、结构性数据与非结构性数据并存。遥感图像能将大批的图像及相关信息存储在一起并进行有效管理。这些图像信息的有效组织和检索便依赖于基于内容的图像检索方式CBTR,即数据给的图像或颜色、纹理、形状、空间关系等特征，检索库存图像，找出给定图像特征相似的图像来。2.2Hadoop简介Hadoop起初建立是作为Nutch项目的基础（infrastructure）,Nutch是一个开源的搜索引擎，主要由爬虫crawler和查询searcher两部分组成。Hadoop和Nutch都是LuceneApache项目的一部分。Hadoop（项目总称）是原Yahoo的DougCutting根据Google发布的学术论文研究而来。它是一个分布式计算平台,它主要由HDFS和Map-Reduce组成，但是二者的实现是完全分离的，并不是没有HDFS就不能MapReduce运算。特点：Scalable（可伸缩性）：可靠存储处理大量数据（10的15次方字节,即PB级数据）Economical（经济性）：数据分布和处理在集群中的可用廉价PC上，这些集群可以由数以千计的节点组成。Efficient（高效性）:以并行的方式工作，通过并行处理加快处理速度。Reliable（可靠性）：白动维护多个数据副本，门动置配失败时的计算任务。 Iladoop分布式文件系统是遵循Google文件系统原理进行开发实现的，受到了业界极大关注。并已被广泛运用。它是具冇高可靠性和高可扩展性的文件系统，能够提供海量的文件存储能力。传统的遥感影像数据库一•般是把影像数据放置到大型关系数据库屮。由于遥感影像数据量较人，因此具读取、传输的时间很长，让操作者难以忍受，影响了系统的快捷易用性。2.3Hadoop环境下遥感图像存储管理的主要研究内容Hadoop是一个能够对大量数据进行分布式处理的软件。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，I大I为它以并行的方式工作，通过并行处理加快处理速度。Hadoop述是可仲缩的，能够处理PB级数据。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。因此根据遥感数据的特征及组织特点，木文做了以下儿个研究：（1）分析Hadoop环境下遥感图像储存的意义；（2）了解Hadoop环境下遥感图像存储实现方法；（3）深入研究Hadoop环境下存储遥感图像的设计机制；（4）设计并实现存储遥感图像。三.总结部分传统的遥感图像存储方式，由于数据量较大，读取吋间会很长，而在Hadoop环境下能冇效提高存储的速度。基于文件与数据库的结合，提出了一个新的数据管理方式，完备的安全措施弥补了文件系统的先天不足。在此基础上，继续分析遥感影像数据库的扩展应用，增强与其它关系数据库系统的结合是今后系统研究发展的重要目标和方向。 四、参考文献[1]李飞鹏，秦前清，李德仁海量遥感影像数据库实时压缩系统的设计与实现[J].计算机工程与应用，2003,39(26)：9-1[2]史小冬，孟川，祝明发，COSMOS—种可扩展单一映象机群文件系统，南京人学学报(白然科学)，2001.10[3]吴思宁，贺劲，熊劲，孟丹,DCFS机群文件系统服务器组的设计与实现,2002全国开放式分布与并行计算学术会[4]胡斌.基于端口陷阱的硬盘保护卡[J].计算机工程,2005,31(21):201-203.[5]SolomonDA.WindowsNT技术内幕[M].北京：清华大学出版社,[6]萤卫军，周明全,耿国华，黎晓.基于内容的图像检索技术研究[J1•计算机工程,2005,31(10):162-163.[7]郑斌.基于内容的遥感图像数据库的多维索引技术[J].计算机测量与控制.2007年12月.1992.,曹才开.-•种基于DPS的视频图像压缩系统的设计[J]・电子设计工程,2007,15(4)：67-69.