基于hdfs的移动超声探测小文件高效存储研究

《基于hdfs的移动超声探测小文件高效存储研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于HDFS的移动超声探测小文件高效存储研究作者姓名王晓明学科专业通信与信息系统指导教师丁泉龙教授所在学院电子与信息学院论文提交日期2015年4月ResearchOnEfficientStorageOfSmallFilesInMobileUltrasoundDetectionBasedOnHDFSADissertationSubmittedfortheDegreeofMasterCandidate：WangXiaomingSupervisor：Prof.DingQuanlongSouthChinaUniversityofTechnologyGuangz

2、hou,China分类号：TP333学校代号：10561学号：201220108266华南理工大学硕士学位论文基于HDFS的移动超声探测小文件高效存储研究作者姓名：王晓明指导教师姓名、职称：丁泉龙教授申请学位级别：工学硕士学科专业名称：通信与信息系统研究方向：现代通信理论与技术论文提交日期：2015年4月23日论文答辩日期：2015年6月2日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：韦岗教授委员：丁泉龙教授、王一歌副教授、杨萃副教授、曹燕副教授华南理工大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的

3、研宄成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写的成果作品。对本文的研宄做出重要贡献的个人和集体，均己在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：玉^_日期：及/_5年《月/〇日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，艮P:研宄生在校攻读学位期间论文工作的知识产权单位属华南理工大学。学校有权保存并向国家有关部门或机构送交论文的复印件和电子版，允许学位论文被查阅（除在保密期内的保密论文外）；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制

4、手段保存、汇编学位论文。本人电子文档的内容和纸质论文的内容相一致。本学位论文属于：□保密，在年解密后适用本授权书。0尔保密，同意在校园网上发布，供校内师生和与学校有共享协议的单位浏览；同意将本人学位论文提交中国学术期刊（光盘版）电子杂志社全文出版和编入CNKI《中国知识资源总库》，传播学位论文的全部或部分内容。(请在以上相应方框内打“V”）作者签名：曰期:>c/s年(扁/«日指导教师签名：曰期:作者联系电话：电子邮涂亩：联系地址(含邮编）：摘要移动超声探测在高铁钢轨探测、水下测绘、电力监测等应用中，产生了海量数据，存在着大量的小文件。Hadoop分布式文件系统（H

5、adoopDistributedFileSystem,HDFS）具有高性能、高可靠、高可扩展特点，采用HDFS，可方便地构建移动超声探测云存储系统。HDFS采用主从架构，文件的元数据信息存储在元数据节点NameNode内存中，移动超声探测中产生的大量小文件，消耗了NameNode节点大量内存，限制了HDFS分布式集群存储容量。针对此问题，本文设计独立于HDFS的移动超声探测小文件存储模块，利用移动超声探测小文件的时空信息，将地理位置相近的小文件合并存储到一个大文件中，并将每个小文件索引信息存储于大文件头部中。结合HBase（HadoopDatabase），存储小文

6、件到大文件映射信息。采用预取缓存文件映射、索引信息及部分文件数据的机制，加快对小文件的访问效率。在小文件合并策略实现上，根据小文件经纬度属性对小文件聚类分析，地理位置相近的文件聚在同一类中。对于地理位置上呈现块状分布的探测文件，采用网格和层次聚类算法结合进行聚类分析；对于移动超声钢轨探测应用中文件呈现轨状分布特点，借鉴K近邻算法思想，设计针对钢轨探测文件的聚类方案。通过实验测试，表明了小文件存储模块大大减少了小文件元数据对NameNode节点内存的消耗，采用预取缓存机制，加快了文件访问效率。关键词：移动超声探测小文件；HDFS；小文件存储模块；预取缓存机制；聚类I

7、AbstractMobileultrasounddetectioninthehigh-speedraildetection,underwatermapping,powermonitoringandotherapplications,producesmassivedata,andlargenumbersofsmallfiles.Hadoopdistributedfilesystem(HDFS)showhighperformance,highreliability,highscalabilitycharacteristics.Wecaneasilybuildaclou

8、dstor